卷积神经网络

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/weixin_41417982/article/details/81412076 构建了 最简单的网络 之后，是时候再加上卷积和池化了。这篇，虽然我还没开始构思，但我知道，一定是很长的文章。 卷积神经网络（Convolutional Neural Layer, CNN)，除了全连接层以外（有时候也不含全连接层，因为出现了Global average pooling），还包含了卷积层和池化层。卷积层用来提取特征，而池化层可以减少参数数量。 卷积层 先谈一下卷积层的工作原理。 我们是使用卷积核来提取特征的，卷积核可以说是一个矩阵。假如我们设置一个卷积核为3*3的矩阵，而我们图片为一个分辨率5*5的图片。那么卷积核的任务就如下所示： 来自： https://mlnotebook.github.io/post/CNN1/ 从左上角开始，卷积核就对应着数据的3*3的矩阵范围，然后相乘再相加得出一个值。按照这种顺序，每隔一个像素就操作一次，我们就可以得出9个值。这九个值形成的矩阵被我们称作激活映射（Activation map)。这就是我们的卷积层工作原理。也可以参考下面一个gif: 其中，卷积核为 1 0 1 0 1 0 1 0 1

卷积网络，这是一个风头正劲的算法，占据人工智能的半壁江山，即使不是学习人工智能的人，也应该听说过这个词。卷积网络代表的是一种传统计算思维方式的转换，由逻辑规则的思维方式，切换到模拟人脑神经连接的思维方式，因此，即使你不搞人工智能，也应该学习下卷积网络的思想。 在这场 Chat 中，我想讲一些普通人也听得清楚的卷积网络思想，然后再探讨卷积网络的一些设计细节，具体内容如下： 什么是神经网络，和大脑有什么联系（卷积网络思想） 为什么神经网络可以训练 神经网络计算公式的数学解释 神经网络的正向 & 反向传播数学推导（不要怕，你看得懂） 使用 Mxnet 实现简单的神经网络 几个思想观念（模型训练七步法、广播思想、Block 堆叠思想、维度思想等） 认识神经网络的缺点，引入卷积网络（两个思维：往哪看？看什么？） 神奇的特征提取组合机器（形状、概念抓取） 卷积网络的基础算子（卷积、池化，池化为何有效？） 卷积网络的优秀基因（局部连接、空间共享、平移不变性、尺寸不变性） 1 * 1 卷积核到底有什么用 卷积网络的设计思路有哪些 通过代码吃透 GoogLeNet、ResNet 阅读全文: http://gitbook.cn/gitchat/activity/5d4d25b79b65cd41470c49ca 您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ，阅读更多

　　VGG卷积神经网络模型解析 　　一：VGG介绍与模型结构 　　VGG全称是Visual Geometry Group属于牛津大学科学工程系，其发布了一些列以VGG开头的卷积网络模型，可以应用在人脸识别、图像分类等方面，分别从VGG16～VGG19。VGG研究卷积网络深度的初衷是想搞清楚卷积网络深度是如何影响大规模图像分类与识别的精度和准确率的，最初是VGG-16号称非常深的卷积网络全称为(GG-Very-Deep-16 CNN)，VGG在加深网络层数同时为了避免参数过多，在所有层都采用3x3的小卷积核，卷积层步长被设置为1。VGG的输入被设置为224x244大小的RGB图像，在训练集图像上对所有图像计算RGB均值，然后把图像作为输入传入VGG卷积网络，使用3x3或者1x1的filter，卷积步长被固定1。VGG全连接层有3层，根据卷积层+全连接层总数目的不同可以从VGG11 ～ VGG19，最少的VGG11有8个卷积层与3个全连接层，最多的VGG19有16个卷积层+3个全连接层，此外VGG网络并不是在每个卷积层后面跟上一个池化层，还是总数5个池化层，分布在不同的卷积层之下，下图是VGG11 ～GVV19的结构图： 　　 　　考虑到整个网络的精简结构显示，ReLU激活函数并没有被显示在上述结构中。上述结构中一些说明： 　　conv表示卷积层 　　FC表示全连接层 　

CNN正在革新几个应用领域，如视觉识别系统、自动驾驶汽车、医学发现、创新电子商务等。需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进、有效和高效的CNN模型。 深度卷积网络DCNN是目前十分流行的深度神经网络架构，它的构造清晰直观，效果引人入胜，在图像、视频、语音、语言领域都有广泛应用。 深度学习，特别是深度卷积神经网络是人工智能的重要分支领域，卷积神经网络技术也被广泛应用于各种现实场景，在许多问题上都取得了超越人类智能的结果。 《卷积神经网络的Python实现》作为深度学习领域的入门读物，假定读者的机器学习知识为零，并尽可能少地使用数学知识，从机器学习的概念讲起，以卷积神经网络的最新发展结束。首先简单介绍了机器学习的基本概念，详细讲解了线性模型、神经网络和卷积神经网络模型，然后介绍了基于梯度下降法的优化方法和梯度反向传播算法，接着介绍了训练网络前的准备工作、神经网络及卷积神经网络实战和卷积神经网络的发展。针对每个关键知识点，给出了基于 NumPy 的代码实现以及完整的神经网络和卷积神经网络代码实现，方便读者训练网络和查阅代码。既可以作为卷积神经网络的教材，也可以供对卷积神经网络感兴趣的工程技术人员和科研人员参考。 卷积神经网络是深度学习最重要的模型之一。 《卷积神经网络的Python实现》PDF，232页，带书签目录，文字可以复制；配套源代码。作者: 单建华

卷积神经网络简单可视化 在本次练习中，我们将可视化卷积层 4 个过滤器的输出（即 feature maps）。 加载图像 import cv2 import matplotlib.pyplot as plt %matplotlib inline img_path = 'images/udacity_sdc.png' bgr_img = cv2.imread(img_path) gray_img = cv2.cvtColor(bgr_img, cv2.COLOR_BGR2GRAY) gray_img = gray_img.astype("float32")/255 plt.imshow(gray_img, cmap='gray') plt.show() 定义并可视化过滤器（卷积核） import numpy as np filter_vals = np.array([[-1, -1, 1, 1], [-1, -1, 1, 1], [-1, -1, 1, 1], [-1, -1, 1, 1]]) print('Filter shape: ', filter_vals.shape) Filter shape: (4, 4) filter_1 = filter_vals filter_2 = -filter_1 filter_3 = filter_1.T filter_4 =

LeNet比较经典，就从LeNet开始，其PyTorch实现比较简单，通过LeNet为基础引出下面的VGG-Net和ResNet。 LeNet LeNet比较经典的一张图如下图 LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。 1.INPUT层-输入层 输入图像的尺寸统一归一化为: 32 x 32。 2.C1层 卷积层 输入图片：32 x 32 卷积核大小：5 x 5 卷积核种类：6 输出featuremap大小：28 x 28 （32-5+1）=28 神经元数量：28 x 28 x 6 可训练参数：（5 x 5+1) x 6（每个滤波器5 x 5=25个unit参数和一个bias参数，一共6个滤波器） 连接数：（5 x 5+1） x 6 x 28 x 28=122304 3.S2层 池化层（下采样层） 输入：28 x 28 采样区域：2 x 2 采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid 采样种类：6 输出featureMap大小：14 x14（28/2） 神经元数量：14 x 14 x 6 可训练参数：2 x 6（和的权+偏置） 连接数：（2 x 2+1） x 6 x 14 x 14

文章目录 一 监督学习 1 classification分类 （1） Binary Decision Tree(BDT)二分决策树 （2） Naive Bayesian Classifier朴素贝叶斯分类器 （3） Neural Network(NN)神经网络 （4）Convolution NN(CNN)卷积神经网络 （5）Deep Belief Networks(DBN)深度信念网络 （6）Recurrent NN(RNN)深度循环神经网络 2 regression回归 （1）LinearRegression线性回归： （2）树回归： 二 强化学习 1 Q-learning 2 Deep Q Networks 3 Double Q-learning 4 Prioritized experience replay 三 无监督学习 1 Dimensionality Reduction降维 （1）Stacked Auto-Encoders(SAE)栈式自编码 （2）Local Linear Embedding局部线性嵌入 2 Clustering聚类 （1）聚类算法简介 （2）聚类算法分类 （3）KMeans算法 （4）层次聚类（hierarchical clustering） （5） DBSCAN（基于密度的聚类算法） 3 Density Estimation密度估计 一 监督学习

近年来，深度学习体系结构由于在计算机视觉等应用中的极大成功而开始流行起来。特别是卷积神经网络(CNN)已经成为深度学习中最重要的一种网络结构。学习计算机视觉中的深度学习、设计和部署CNN，以及深度计算机视觉体系结构的基础知识。 从零基础开始，系统阐述卷积神经网络理论基础及其实践应用，可以帮助快速学习和构建深度学习系统。提供了丰富的理论知识和实操案例，以及一系列完备的工具包，以帮助获得在理解和构建卷积神经网络（CNN）时所必要的基本信息。重点将集中在卷积神经网络的基础部分，而不会涉及在高级课程中才出现的一些概念（CNN相关话题）。 推荐参考《卷积神经网络与视觉计算》中文PDF，174页，带目录，文字可复制；英文PDF，187页，带目录，文字可复制。 下载: https://pan.baidu.com/s/1OeT4YJdcWQYxHJxwG6Idmg 提取码: 6tar 分为5章，介绍了图像表示和一些计算机视觉模型，这些模型现在被称为人工方式建模。提供了对图像表示的基本理解，并介绍了一些线性和非线性的特征提取或表示方法，以及这些表示的特性。介绍了一些基本图像元素(如边缘)的检测方法，还包括用这些表示来完成一些基本的机器学习任务。 CNN正在革新几个应用领域，如视觉识别系统、自动驾驶汽车、医学发现、创新电子商务等。需要在专业项目或个人方案中利用复杂的图像和视频数据集来实现先进

CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。 注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。 一、卷积只能在同一组进行吗？-- Group convolution Group convolution 分组卷积，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。 alexnet 分组卷积的思想影响比较深远，当前一些轻量级的SOTA（State Of The Art）网络，都用到了分组卷积的操作，以节省计算量。但题主有个疑问是，如果分组卷积是分在不同GPU上的话，每个GPU的计算量就降低到 1/groups，但如果依然在同一个GPU上计算，最终整体的计算量是否不变？找了pytorch上有关组卷积操作的介绍，望读者解答我的疑问。 pytroch github EDIT： 关于这个问题，知乎用户朋友 @蔡冠羽 提出了他的见解： 我感觉group

# from keras.models import Sequential# from keras.layers.core import Dense,Activation,Flatten#creating the Sequential model# model=Sequential()# #layer 1 --adding a flatten layer# model.add(Flatten(input_shape=(32,32,3)))# #layer 2 --adding a fully connected layer# model.add(Dense(100))# #layer 3 --add a Relu activation layer# model.add(Activation("relu"))# #layer 4 --adding a fully connected layer# model.add(Dense(60))# #layer 5 --adding a Relu activation layer# model.add(Activation("relu"))import numpy as npimport matplotlib.pyplot as pltfrom keras.datasets import mnistfrom keras.models