深度学习

这篇文章主要介绍卷积神经网络1998年到2019年的20多种经典的网络，体会每种网络的前世今身以及包含的深邃思想。算是一个总结性的博客吧。。。 目录 一、1998年：LeNet 二、2012年：AlexNet 三、2013年：ZFNet 四、2014年:亚军——VGGNet 冠军——GoogLeNet 五、2015年：ResNet 六、2016年：DenseNet 七、2017年：SENet 一、1998年：LeNet 1988年，Yann LeCun（深度学习三巨头之一，2019年获得图灵奖）提出了用于手写字符识别的卷积网络模型LeNet5。其原理结构比较清晰，如图所示。当年，美国很多企业都采用了该模型用于识别现实场景中的数字，例如邮政编码、手写数字等，能够达到商用的程度，可见其在AI领域的开创性地位。 在论文中，LeNet5被用于识别MNIST数据集提供的10个数字。MNIST数据集在人工智能领域的作用是非常重要的，是当时Google实验室的Corinna Cortes和纽约大学的Yann LeCun共同建立的手写数字数据库，由60000张训练图片和10000张测试图片组成。该数据集提供的图片像素统一为28×28，图片中字符像素最大为20×20。 创新点： 提出卷积神经网络 二、 2012 年：AlexNet AlexNet是2012年提出的

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 一个新技术从提出到成熟往往要经历多次热潮，当下热门的AI正是如此。纵观整个AI的发展历程，可以分为三个阶段。目前，AI正在从2.0阶段发展到3.0阶段，此时，重要的一环就是神经拟态计算取得的突破性进展，而这又需要在两个方面发力。 今天距离人类最初探索外太空已经有51年之久了。1969年，美国宇航员阿姆斯特朗踏上了月球表面，他的那句“我的一小步，人类的一大步”仍然被我们所熟记。 正如人类从未停止过对外太空的探索一样，科研人员对人工智能（Artificial Intelligence）领域也从未停止过探索。如果说我们之前的探索是停留在人工智能的“地球表面”，现在的科技进步、软硬件的成熟正带领我们进入人工智能的新领域，即人工智能的“外太空”。其中关键性技术——神经拟态计算的巨大突破就是一个重要的推进器。 英特尔近期在超高能效比的神经拟态计算领域取得了瞩目的进展，例如Loihi芯片已经具备了嗅觉，可以识别10种有害气体；由有768颗Loihi神经形态芯片组成的Pohoiki Springs神经拟态计算系统拥有1亿个神经元，相当于一个小型哺乳动物。可以说，正是这些在神经拟态计算领域的“一小步”，成就了AI发展的“一大步”。 AI3.0——让机器实现从感知到认知 人工智能的“外太空”

GluonCV 0.6: Embrace Video Understanding Author: Yi Zhu , Applied Scientist at Amazon 视频理解一直是一个趋势性的研究课题，因为分析动态视频可以帮助我们开发更好的计算机视觉算法，从而产生更强的人工智能。然而，视频研究存在着数据量大、实验周期长、缺乏可重复的编码库、缺乏教程、边缘设备部署困难等诸多障碍。 在这个新版本中，GluonCV解决了上述限制。GluonCV现在完全支持最先进的视频分类算法和主要数据集。在发布的同时，我们还提供了新的快速视频阅读器、分布式培训支持、广泛的教程和可复制的基准测试。使用 GluonCV 可以轻松地学习、开发和部署视频理解模型，而不必太担心工程细节。 More Pre-Trained Models and Datasets 最近，FAIR刚刚开放了他们的PySlowFast代码库用于视频理解。与PySlowFast相比，GluonCV提供了对更多模型和数据集的支持。例如，这个版本涵盖了最先进的算法：s TSN , C3D , I3D , P3D , R2+1D , Non-local and SlowFast , 并支持4个最广泛的数据集： UCF101 , HMDB51 , Kinetics400 和 Something-Something-V2 .

　　今年 3 月，旷视科技开源了在内部工程实践超过 6 年的深度学习框架天元（MegEngine），其「训练推理一体」、「动静合一」、「兼容并包」、「灵活高效」的强大性能，为 AI 领域带来了新的风向。 　　秉承开放、高效、合作、共赢的态度，一方面旷视希望将最佳实践反哺业界，另一方面也希望更多开发者共同参与MegEngine的使用、建设和改进，打造国内深度学习领域的繁荣生态。 　　7月11日，在旷视科技和机器之心联合举办的2020 WAIC开发者日「深度学习框架与技术生态」分论坛上，旷视天元MegEngine深度学习框架Beta版正式发布。此外还邀请了多位行业专家和技术生态合作伙伴，对目前国内深度学习框架技术发展的思想、脉络和现状进行了全面深入分析。 　　 　　 旷视 研究院高级技术总监田忠博 首先分享了「天元深度学习框架的创新与探索」。天元是旷视从2014年开始自主研发的深度学习框架，目前天元框架支撑着旷视所有的算法的训练和推理。今年3月，旷视在将天元深度学习框架正式开源的同时，也推出了Brain++商业化版本。 　　田忠博介绍说，自从开源以来，在众多优秀开发者、院校以及企业机构的积极参与下，整个天元生态仓库有了长足的进步，共收获了2400多个Github Star，达到1000多次的下载量。 　　现在，旷视天元Beta 版也已经正式发布。在本场论坛论坛上， 旷视

　　 　　编译 | 陈大鑫 　　编辑 | 丛 末 　　首度于线上召开的CVPR 2020 会议已经落下帷幕。今年，大会共有1467篇论文被接收，共举办了29个Tutorial、64个Workshop，线上与会者人数达 7600人。大量的论文，加上今年新采用虚拟会议的形式，曾一度让会议浏览器不堪重负（浏览速度非常慢）。 　　为了让大家更好地掌握今年会议的总体研究趋势，一位深度学习专业的博士生Yassine Ouali 专门撰写了一篇博客，总结了一些引起他关注的论文，以呈现今年会议的大致面貌。 　　 我们先来看下 CVPR 2020 官方的相关统计数据： 　　CVPR 往年的增长趋势仍然继续：作者人数增加了20％，提交论文的数量增加了29％，同时为了适应这种扩张，审稿人和领域主席都有增加 　　 　　今年会议的注册人数共有6424人，相比2019年增加了一千多人。在被接收的1467篇论文中，有335篇 Oral 论文。 　　 　　 　　与去年相似，就接受论文而言，中国是CVPR的第一贡献者，其中来自清华大学的作者数量最多，其次是美国（按国家）和Google（按组织）。 　　 　　不出所料，被接收的论文主题多数集中在与学习、识别、检测和理解有关的主题上。但是，人们对诸如高效标签方法（例如，迁移学习），图像合成和机器人感知等相对较新的领域越来越感兴趣

　　 　　 人工智能的终极命题：算法和数据谁更重要？ 如果算法已经能自动生产，框架将会是核心竞争力吗？ 如果框架仍然不能构成核心壁垒，那会是什么？ 　　第三波人工智能浪潮越浪越勇，吸引着一批又一批的学界大佬迈出象牙塔，投身于产业机构和田间地头，要问为什么？ 　　 问就一句话，「那里有比研究院所更丰富的海量数据，有更接近用户的真实战场」。 　　这个逻辑进而衍生出一连串值得探讨的有趣话题：数据很重要，那么数据究竟有多重要？数据会比算法更重要吗？在机器学习领域里，究竟数据和算法哪个重要？ 　　事实上，算法、算力和数据，一直以来就被称之为人工智能的「三驾马车」。这个问题看似无解，好比问自行车的前轮重要还是后轮重要？人的左腿重要还是右腿重要？整体中的任何一个部分对于完成任务而言都是不可或缺的。同样的，数据和算法在机器学习中也是不可或缺的。 　　 但这并不妨碍从业者对「数据与算法」的探讨和交流热情，也正是在这样的交流中，算法和数据的价值得到不断地延伸与挖掘。 　　 一 数据VS算法，究竟谁更有竞争力？ 　　「中国AI公司的优势并不是先进的算法，而是丰富的应用场景和大量的标注数据。正如文章所说： 『我们使用的算法中并没有多少内容是地球上随便哪个计算机科学研究生拿不到的。没有中国无与伦比的标注基础设施，这些数据成不了气候。』 」 　　近日，中国科学院大学教授

目录 一、前言 二、学习之路 三、基本教程 四、应用教程 五、报错及解决 一、前言 OpenCV算是比较热门的计算机视觉库，很多想从事计算机视觉工作的人基本都是通过OpenCV入门或者了解过OpenCV，如果你也想入门OpenCV，那就可以从3.x中选择一个版本，开始你的学习之路。这一系列博客使用了OpenCV3.1.0，如果你想使用更新的版本，比如4.3.0，你可以关注我的OpenCV系列博客，我会定期更新。 【OpenCV系列】： https://blog.csdn.net/shuiyixin/category_7581855.html 那这两个版本有什么区别吗？主要有如下几个方面吧：（ 重点是3 ） 1.基于的版本不同，OpenCV3.1.0和4.3.0版本不一样，这个是最直接的差距了，这个差距引出的就是OpenCV3和OpenCV4的差别，里面很多写法都更换了，但是这并不影响我们的学习。 2.OpenCV3.4.0开始就支持深度学习了，到了4.3.0已经支持大量深度学习算法，内容丰富了很多，3.1.0更偏向传统的图像处理计算机视觉。 3.OpenCV3.1.0只是基础教程，用于大家入门学习，只选择了重要的，常见的部分进行讲解。对于很多用到的枚举类型，没有涉及。通过3.1.0我们可以快速入门OpenCV，掌握大多数OpenCV技术。OpenCV4.3.0是更加详细全面的教程

@ 目录 一、实现原理 二、 基于内容的图像检索的特征提取 三、代码实现 打赏 在CBIR中，图像通过其视觉内容(例如颜色，纹理，形状)来索引。 一、实现原理 首先从图像数据库中提取特征并存储它。然后我们计算与查询图像相关的特征。最后，我们检索具有最近特征的图像 二、 基于内容的图像检索的特征提取 在这篇研究论文中( https://arxiv.org/pdf/1404.1777.pdf )，作者证明了为分类目的而训练的卷积神经网络(CNN) 可用于提取图像的“神经代码”。这 些神经代码是用于描述图像的特征。研究表明这种方法在许多数据集.上的表现与最先进的方法一样。这种方法的问题是我们首先需要标记数据来训练神经网络。标签任务可能是昂贵且耗时的。为我们的图像检索任务生成这些“神经代码”的另一种方法是使用无监督的深度学习算法。这是去噪 自动编码器的来源。相关代码可以参见： https://blog.csdn.net/qq_34213260/article/details/106333947 . 三、代码实现 import numpy as np from keras.models import Model from keras.datasets import mnist import cv2 from keras.models import load_model from

Chat with Milvus #17视频- Milvus Tutorials & Phantoscope 上线啦！ 本周的 Milvus 线上会议中，我们与参加者分享了两个好消息，第一个是 Milvus 教程 的上线。以后你就可以更轻易的在 Milvus 官网上找到开发需的资源啦！ 第二个好消息是大家期待已久的一个功能更强大的以图搜图系统 Phantoscope 推出了第一个版本。 Phantoscope 是一个基于 Milvus 与深度学习的云原生图像搜索引擎：十亿级别的图像的高性能搜索。完全兼容 Tensorflow、Pytorch、TensorRT、ONNX，XGBoost 等主流深度学习框架。提供 GUI 展示搜索效果、管理 Phantoscope 资源。原生支持 Docker 与 Kubernetes。 想知道更多的朋友， 欢迎直接到 GitHub 走走： https://github.com/zilliztech/phantoscope ​ github.com 那这个 Phantoscope 是什么意思， 它应该怎么念呢？ . iciba.com/word? w=phantoscope 没有时间看视频的朋友， 也可以看看下面的部分文字实录。 | Milvus Q&A 部分文字实录 Attendee= 参会者 ⌛ 时间戳 09:17-16:41 Attendee A

@ 目录 一、前言 二、深度网络的退化问题 三、残差学习 3.1 残差网络原理 3.2 ResNet结构为什么可以解决深度网络退化问题？ 3.3 残差单元 3.4 ResNet的网络结构 四、实验结果 ResNet-50 完整代码 参考资料： 一、前言 深度残差网络（Deep residual network, ResNet）的提出是CNN图像史上的一件里程碑事件，让我们先看一下ResNet在ILSVRC和COCO 2015上的战绩： ResNet取得了5项第一，并又一次刷新了CNN模型在ImageNet上的历史, ImageNet分类Top-5误差： 那么ResNet为什么会有如此优异的表现呢？其实ResNet是解决了深度CNN模型难训练的问题，从图2中可以看到14年的VGG才19层，而15年的ResNet多达152层，这在网络深度完全不是一个量级上，所以如果是第一眼看这个图的话，肯定会觉得ResNet是靠深度取胜。事实当然是这样，但是ResNet还有架构上的技巧，这才使得网络的深度发挥出作用，这个技巧就是残差学习（Residual learning）。 论文名称：Deep Residual Learning for Image Recognition 论文作者：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun 论文地址：