alexnet

新智元编译 最近，物体识别已经成为计算机视觉和AI最令人激动的领域之一。即时地识别出场景中所有的物体的能力似乎已经不再是秘密。随着卷积神经网络架构的发展，以及大型训练数据集和高级计算技术的支持，计算机现在可以在某些特定设置（例如人脸识别）的任务中超越人类的识别能力。 我感觉每当计算机视觉识别方面有什么惊人的突破发生了，都得有人再讲一遍是怎么回事。这就是我做这个图表的原因。它试图用最简洁的语言和最有吸引力的方式讲述物体识别的现代史。故事开始于2012年AlexNet赢得了ILSVRC（ImageNet大规模视觉识别挑战赛）。信息图由2页组成，第1页总结了重要的概念，第2页则勾画了历史。每一个图解都是重新设计的，以便更加一致和容易理解。所有参考文献都是精挑细选的，以便读者能够知道从哪里找到有关细节的解释。 计算机视觉6大关键技术 图像分类：根据图像的主要内容进行分类。数据集：MNIST,CIFAR,ImageNet物体定位：预测包含主要物体的图像区域，以便识别区域中的物体。数据集：ImageNet物体识别：定位并分类图像中出现的所有物体。这一过程通常包括：划出区域然后对其中的物体进行分类。数据集：PASCAL,COCO语义分割：把图像中的每一个像素分到其所属物体类别，在样例中如人类、绵羊和草地。数据集：PASCAL,COCO实例分割：把图像中的每一个像素分到其物体类别和所属物体实例

Alexnet（2012） Abstract Alexnet是一个大规模的深度卷积神经网络，用于对ImageNet中的LSVRC-2010 contest（120万256*256的高分辨率图片）进行1000分类。其中用到的技术包括非饱和神经元，用于卷积运算的高效GPU，dropout正则化技术。同时，本文也给出了这一模型的一个变体。 Introduction 在此之前，提高性能的方法一般是扩大数据集，同时使用一些技巧防止过拟合。而直到近期（指2012），一些复杂的数据集如ImageNet， LabelMe（fully-segmented images)。 为处理上百万的复杂图像，我们需要一个具有更大学习容量的网络，同时，也需要大量的 先验知识 以弥补数据的不足。因此，CNN被提出，相比于普通神经网络，CNN具有连接层少（参数少），易训练，符合对图片数据的一些基本假设，尽管它的理论最佳性能比普通神经网络要次一些。 GPU和诸如ImageNet的数据集的提出，也促进了CNN的发展。 本文提出了一个超大规模的CNN，一个高度优化的用于执行2D卷积的GPU和一些防过拟合的手段。 本文提出的神经网络主要受到内存空间和训练时间的限制，它花费约5-6天时间跑在2个GTX 580 3GB GPU上。更快的GPU和更大的数据集可以使得训练结果得到进一步提升。 DataSet 1.ImageNet :

这里写自定义目录标题 在matlab上运行alexnet时出现报错，下面是报错相关信息 出错原因 在matlab上运行alexnet时出现报错，下面是报错相关信息 错误使用 vision.internal.cnn.fastrcnn.RegionReader (line 146) Unable to find any region proposals to use as positive or negative training samples. 出错 vision.internal.cnn.fastrcnn.TrainingRegionDispatcher (line 63) vision.internal.cnn.fastrcnn.RegionReader(… 出错 fastRCNNObjectDetector/createTrainingDispatcher (line 667) dispatcher = vision.internal.cnn.fastrcnn.TrainingRegionDispatcher(… 出错 fastRCNNObjectDetector.train (line 173) dispatcher = createTrainingDispatcher(… 出错 trainFasterRCNNObjectDetector (line 297) [~,

神经网络学习小记录17——使用AlexNet分类模型训练自己的数据（猫狗数据集） 学习前言 什么是AlexNet模型 训练前准备 1、数据集处理 2、创建Keras的AlexNet模型 开始训练 1、训练的主函数 2、Keras数据生成器 3、主训练函数全部代码 训练结果 学习前言 最近在做实验室的工作，要用到分类模型，老板一星期催20次，我也是无语了，上有对策下有政策，在下先找个猫猫狗狗的数据集练练手，快乐极了。 什么是AlexNet模型 AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。 这对于传统的机器学习分类算法而言，已经相当的出色。 如下是其网络的结构，现在看来还是比较简单的。 这是一个AlexNet的网络结构图，其实并不复杂，很好的反应了AlexNet的结构： 1、一张原始图片被resize到(224,224,3)； 2、使用步长为4x4，大小为11的卷积核对图像进行卷积，输出的特征层为96层，输出的shape为(55,55,96)； 3、使用步长为2的最大池化层进行池化，此时输出的shape为(27,27,96) 4、使用步长为1x1，大小为5的卷积核对图像进行卷积，输出的特征层为256层，输出的shape为(27,27

卷积神经网络（ CNN ） 1.1 二维卷积层 卷积神经网络是含有卷积层的神经网络，均使用最常见的二维卷积层，它有高和宽两个空间维度，常用来处理图像数据。 1.1.1 二维互相关运算 在二维卷积层中，一个二维输入数组和一个二维核数组通过互相关运算输出一个二维数组。 输入一个高和宽均为3的二维数组，核数组的高和宽均为2，核数组在卷积计算中又称卷积核或过滤器，卷积核窗口（卷积窗口）的形状取决于卷积核的高和宽。 1.1.2 二维卷积层 二维卷积层将输入和卷积核做互相关运算，并加上一个标量偏差来得到输出。卷积层的模型参数包括卷积核与标量偏差。在训练模型时，通常先对卷积核随机初始化，然后不断迭代卷积核与偏差。 卷积窗口形状为p x q的卷积层称为p x q卷积层，说明卷积核的高和宽分别为p和q。 1.1.3 图像中物体边缘检测 卷积层的简单应用：检测图像中物体的边缘，即找到像素变化的位置。卷积层可以通过重复使用卷积核有效的表征局部空间。 1.1.4 通过数据学习核数组 例子：使用物体边缘检测中的输入数据x，输出数据y，来构造核数组k。首先构造一个卷积层，将卷积核初始化成随机数组，在每一次迭代中，使用平方误差来比较Y和卷积层的输出，然后计算梯度来更新权重。 1.15 特征图和感受野 特征图：二维卷积层输出的二维数组可以看做是输入在空间维度（宽和高）上某一级的表征。 感受野

迁移学习 使用迁移学习来实现猫狗分类。 迁移学习的个人理解：就是把一个训练好的神经网络从中分开，在拼接到其他的神经网络上，在迁移的过程中，卷积模块的结构不会发生改变，并且权重也不会发生改变。迁移学习分为两种：1.预训练模式，迁移过来的权重作为新网络的初始权重，然后不断训练，改变参数的值。2.固定模式，迁移过来的网络结构和权重都不会改变，训练过程只针对全连接层，在反向传播过程中，在迁移模块停止，不改变迁移模块中的权重，只训练全连接层的参数。 Alexnet网络的结构 Alexnet网络是由五个卷积层和三个全连接层构成，其中最后的输出被送到1000维的softmax函数 在卷积层的第一、第二和第五层使用了最大池化函数，并且在卷积层的第一和第二层使用了标准化 LRN函数。在全连接层的前两层使用了Dropout函数，来解决神经网络的过拟合问题。Relu激活函 数应用在每个卷积层和全连接层。 第一个卷积层的输入为224×224×3的图像，对其使用96个大小为11×11×3、步长为4的卷积核来处 输入图像。第二个卷积层将第一个卷积层的输出（响应归一化以及池化）作为输入，并使用256个 卷积核处理图像，每个内核大小为5×5×48。第三个、第四个和第五个卷积层彼此连接而中间没有任 何池化或归一化层。第三个卷积层有384个卷积核，每个的大小为3×3×256，其输入为第二个卷积层 的输出

Alexnet（2012） Abstract Alexnet是一个大规模的深度卷积神经网络，用于对ImageNet中的LSVRC-2010 contest（120万256*256的高分辨率图片）进行1000分类。其中用到的技术包括非饱和神经元，用于卷积运算的高效GPU，dropout正则化技术。同时，本文也给出了这一模型的一个变体。 Introduction 在此之前，提高性能的方法一般是扩大数据集，同时使用一些技巧防止过拟合。而直到近期（指2012），一些复杂的数据集如ImageNet， LabelMe（fully-segmented images)。 为处理上百万的复杂图像，我们需要一个具有更大学习容量的网络，同时，也需要大量的 先验知识 以弥补数据的不足。因此，CNN被提出，相比于普通神经网络，CNN具有连接层少（参数少），易训练，符合对图片数据的一些基本假设，尽管它的理论最佳性能比普通神经网络要次一些。 GPU和诸如ImageNet的数据集的提出，也促进了CNN的发展。 本文提出了一个超大规模的CNN，一个高度优化的用于执行2D卷积的GPU和一些防过拟合的手段。 本文提出的神经网络主要受到内存空间和训练时间的限制，它花费约5-6天时间跑在2个GTX 580 3GB GPU上。更快的GPU和更大的数据集可以使得训练结果得到进一步提升。 DataSet 1.ImageNet :

从LeNet 到AlexNet 到VGGNet LeNet LeNet是第一个真正意义上的卷积神经网络模型，LeNet5在识别手写数字中取得了非常好的成绩 结构：3个卷积层，2个池化层，2个全连接层。卷积层的卷积核都为5*5，stride-1，池化层都为Maxpooling，激活函数都为sigmoid AlexNet 网络比LeNet更深，结构包括五个卷积层和3个全连接层 使用ReLu激活函数，收敛速度很快，克服了sigmoid函数在网络较深时出现的梯度发散现象 加入Dropout层，防止过拟合 使用了归一化层，增强了模型的泛化性能 使用了裁剪翻转等操作做数据增强 分块训练 VGGNet 增加了网络的深度，证明了使用更小的卷积核且增加网络的深度可以有效改变模型的性能。 参考资料：“有三AI”公众号 来源： https://blog.csdn.net/qq_40330604/article/details/100806490

一、上回说到的 AlexNet 请各位看官们参见博客之前的文章： 深度学习网络篇——AlexNet https://blog.csdn.net/weixin_43624538/article/details/83988998 1）AlexNet性能举世瞩目 top-1和top-5错误率分别为37.5%和17.0%。 2）由下面的原因，人们也对卷积网络空前关注： 1） 大量有标签的数据集ImageNet； 2）强有力的GPU计算，使训练复杂模型更容易实现 3）更好的归一化策略，如dropout 二、Why:ZFNet为什么有? AlexNet如此优秀，随之提出了两个问题： 1）为什么能表现的这么好， 2） 怎么样能变得更好 纵然AlexNet好用，我们不清楚该模型的内部（仍然缺乏洞察力，认知十分有限）。 ------从科学立场，模型的发展就是反复实验和减小误差了。 于是有了本篇论文…… ** Visualizing And Understanding Convolutional Networks ** 三、What:ZFNet做了什么？ 1. 一个可视化技术来观察 ------理解 中间特征层的功能 ------理解 分类器层的操作 2. 到改进神经网络的结构的方法 四、How: ZFNet怎样做的？ 1. 使用反卷积（Deconvnet），可视化特征图（feature map） 1

目录 1.5.2 ZFNet 5.7 反卷积（Deconvnet） 5.7.1 上采样池化（UnPooling） 5.7.2 反卷积过程 5.8 ZFNet 架构设计 5.9 ZFNet 的贡献 1.5.2 ZFNet 在前文中，我们对 AlexNet 的架构以及核心组件做了相关介绍，虽然 AlexNet 赢得了 ILSVRC2012 的冠军，相比传统技术取得辉煌的成就，然而技术绝不止步于此，AlexNet 为什么性能如此优越，它还能如何改进呢？带着这样的问题，在 ILSVRC2013 中，ZFNet 1 利用反卷积可视化技术探讨上述问题，并对 AlexNet 网络加以改进，改进后的 ZFNet 性能已明显超越 AlexNet。 ZFNet 由 Matthew D. Zeiler 和他的博导 Rob Fergus 提出，网络命名来自于他们的名字首字母组合。ZFNet 实际上并不是这一届的冠军，而是由一个创业公司 Clarifai 获得，而 Zeiler 是该公司的 CEO，而我们通常讨论 ILSVRC2013 的获胜者，一般也指的是 ZFNet。 5.7 反卷积（Deconvnet） 在深度学习中提到的反卷积通常是指转置卷积（transposed convolution），卷积操作的一般步骤通常是将输入层的图像经过某个卷积核实现卷积操作，将其映射到输出空间中