卷积神经网络

用深度卷积生成对抗网络进行无监督表示学习 摘要 近年来，监督学习的卷积网络（ CNN ）在计算机视觉应用中有着广泛的应用。相比之下，无监督的卷积网络 CNN 学习受到的关注较少。在这项工作中，我们希望可以帮助缩小有监督学习的 CNN 和无监督学习的 CNN 成功之间的差距。我们介绍了一类 CNN 叫做深度卷积生成对抗网络（ DCCNG ），它具有一定的架构约束，表明它们是非监督学习的有力候选。对各种图像数据集进行训练，我们展示出令人信服的证据，证明我们的深层卷积对抗从对象部分到发生器和判别器中的场景学习了层次结构的表示。此外，我们使用学习的功能进行新颖的任务 - 证明适用于一般图像的表示 1. 前言 从来自大型的未标记的数据集学习可重用的特征表示一直是一个热门的研究领域。在计算机视觉的背景下，可以利用实际上无限量的未标记的图像和视频来学习良好的中间表示，然后可以将它用在各种监督学习任务上，如图像分类。 我们提出了一种建立好的图像表示的方法是通过训练生成对抗网络（ GAN ）（ Goodfellow 等人， 2014 ），并随后重用发生器和判别器网络的部分作为用于监督任务的特征提取器。 GAN 为最大似然技术提供了一个有吸引力的替代方法。另外还可以争辩说，他们的学习过程和缺少启发式的代价函数（比如像素方式的独立均方差）对于表示学习来说是存在吸引力的。我们知道 GAN

论文标题：Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 论文链接： https://arxiv.org/abs/1511.06434 参考资料： http://blog.csdn.net/liuxiao214/article/details/73500737       http://blog.csdn.net/solomon1558/article/details/52573596       https://buptldy.github.io/2016/10/29/2016-10-29-deconv/ DCGAN的框架 在以往的尝试中，将CNN应用于GAN，都没有获得成功。但是经过一系列探索，我们找到一类结构，可以在分辨率更高、更深的生成模型上稳定地训练。 Historical attempts to scale up GANs using CNNs to model images have been unsuccessful. However, after extensive model exploration we identified a family of architectures that resulted in stable

版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/liuxiao214/article/details/73500737 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-3019150162.css"> <div id="content_views" class="markdown_views prism-atom-one-dark"> <!-- flowchart 箭头图标 勿删 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>论文原文：<a href="https://arxiv.org/pdf/1511.06434.pdf" rel="nofollow" data-token=

本文是参考文献[1]的论文笔记。 卷积神经网络在有监督学习中的各项任务上都有很好的表现，但在无监督学习领域，却比较少。本文介绍的算法将有监督学习中的CNN和无监督学习中的GAN结合到了一起。 在非CNN条件下，LAPGAN在图像分辨率提升领域也取得了好的效果。 与其将本文看成是CNN的扩展，不如将其看成GAN的扩展到CNN领域。而GAN的基本算法，可以参考 对抗神经网络 。 GAN无需特定的cost function的优势和学习过程可以学习到很好的特征表示，但是GAN训练起来非常不稳定，经常会使得生成器产生没有意义的输出。而论文的贡献就在于： 为CNN的网络拓扑结构设置了一系列的限制来使得它可以稳定的训练。 使用得到的特征表示来进行图像分类，得到比较好的效果来验证生成的图像特征表示的表达能力 对GAN学习到的filter进行了定性的分析。 展示了生成的特征表示的向量计算特性。 模型结构 模型结构上需要做如下几点变化： 将pooling层convolutions替代，其中，在discriminator上用strided convolutions替代，在generator上用fractional-strided convolutions替代。 在generator和discriminator上都使用batchnorm。 解决初始化差的问题 帮助梯度传播到每一层

DCGAN https://github.com/carpedm20/DCGAN-tensorflow DCGAN的原理和GAN是一样的，它只是把上述的G和D换成了两个卷积神经网络（CNN）。但不是直接换就可以了，DCGAN对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变如下： 取消所有pooling层。G网络中使用反卷积（Deconvolutional layer）进行上采样，D网络中用加入stride的卷积代替pooling。 D和G中均使用batch normalization 去掉FC层，使网络变为全卷积网络 G网络中使用ReLU作为激活函数，最后一层使用tanh D网络中使用LeakyReLU作为激活函数，最后一层使用softmax DCGANs的基本架构就是使用几层“反卷积”（Deconvolution）网络。“反卷积”类似于一种反向卷积，这跟用反向传播算法训练监督的卷积神经网络（CNN）是类似的操作。 DCGAN-tensorflow核心是model.py model.py定义了生成器和判别器，其中生成器使用deconv2d,判别器使用conv2d discriminator的实现 def discriminator(self, image, y=None, reuse=False): with tf.variable_scope(

关于卷积神经网络的入门基础知识： https://blog.csdn.net/weixin_42451919/article/details/81381294 卷积神经网络的相关公式推导： https://campoo.cc/cnn/ https://www.cnblogs.com/pinard/p/6494810.html 卷积神经网络知识点超级详细总结文章： https://blog.csdn.net/jiaoyangwm/article/details/80011656#5CNN_127 残差网络详细介绍 https://www.cnblogs.com/gczr/p/10127723.html CNN的几个常见的模型 https://www.cnblogs.com/hotsnow/p/9734375.html 来源： https://www.cnblogs.com/henuliulei/p/11914484.html

参考博客： http://www.cnblogs.com/wuliytTaotao/archive/2018/09/15/9560205.html https://blog.csdn.net/wu_x_j_/article/details/84823002 https://blog.csdn.net/wsp_1138886114/article/details/82080881 残差网络(residual network)： DNN为什么不是越深越好： 论文认为，可以训练一个 shallower 网络，然后在这个训练好的 shallower 网络上堆几层 identity mapping（恒等映射） 的层，即输出等于输入的层，构建出一个 deeper 网络。这两个网络（shallower 和 deeper）得到的结果应该是一模一样的，因为堆上去的层都是 identity mapping。这样可以得出一个结论：理论上，在训练集上，Deeper 不应该比 shallower 差，即越深的网络不会比浅层的网络效果差。 在不断加深神经网络的深度时，会出现退化(Degradation)问题，即准确率会先上升然后达到饱和，再持续增加深度会导致准确率下降。这并不是过拟合问题，因为不光在测试集上误差增大，训练集本身误差也会增大。原因是随着网络越来越深，训练变得原来越难，网络的优化变得越来越难

pytorch实现Resnet 标签： pytorch resnet 网络结果及其基本单元 对于Resnet来说基本，只要把其基本结构抽离出来即可，其他的其实和以前我们的普通卷积神经网络很像。而Resnet中最基本的结构就是一个残差块如下： 可以看出一个残差块分为左右两部分，左边其实就是普通卷积操作，而右边什么都没有（不过在实际中会有一个卷积），然后输出就是两个的和。 所以一个对于一个输入x [batch,c,h,w] 来说经过左边可能变为了[batch,c1,h1,w1],同样右边也使用其他的卷积变为[batch,c1,h1,w1]，然后加起来即可。 之所以要做一个短连接的作用是避免网络层数过深导致的梯度爆炸或者消失，对于一个残差块，我们能保证最坏的结果就是左边的卷积不起作用了，这样无论网络再深，其实只相当于还是x，所以就能保证不造成梯度问题。具体细节可以参考论文。 pytorch实现 定义残差块 class ResidualBlock ( nn . Module ) : """实现一个残差块""" def __init__ ( self , inchannel , outchannel , stride = 1 , shortcut = None ) : super ( ) . __init__ ( ) self . left = nn . Sequential ( nn .

前言：简单翻译了一篇介绍卷积网络的文章，以学习了解卷积网络运行机制。 An Intuitive Explanation of Convolutional Neural Networks 原文地址： https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/comment-page-4/?unapproved=31867&moderation-hash=1ac28e426bc9919dc1a295563f9c60ae#comment-31867 一、什么是卷积神经网络、为什么卷积神经网络很重要？ 　　卷积神经网络<Convolutional Neural Networks>简称ConvNets 或CNNs 属于分类神经网络，在某些领域已经被验证非常有效，比如图像识别、分类领域。ConvNets 不仅仅在人脸、物体、交通标志识别成功而且还助力于机器视觉与自动驾驶。 图 1: 来源 [ 1 ] 　　在上图 图1 中ConvNet 可以识别场景并且系统可以建立相关关联（“一个足球运动员在踢足球”），然而在下图 图2 的示例中展示了ConvNets 用于识别物体、人和动物。最近，ConvNets 在某些自然语言处理任务（例如句子分类）中也有效。[ 注：微软小冰、苹果Siri 等，读者也可以调用微软AI搭建自己的应用程序

内容转自知乎答主OWILite，如有冒犯，告知删除。 链接：https://www.zhihu.com/question/39022858 由于卷积神经网络主要是用于图像处理领域，故而从图像处理领域对卷积神经网络进行解释。 卷积神经网络的目的：识别图像中的特定的形状，比如说曲线。那么将图像输入卷积神经网络后，这个网络应该对感兴趣的形状有较高的输出，而对于其他的形状的应该有较小的输出。 图一. 左图卷积滤波器的像素表示，右图曲线检测滤波器的可视化结果 如图一所示，要设计的目标滤波器如左图所示，想要识别的曲线如右图所示。 图二. 左图为原始图像，右图为卷积核在图像上的可视化 图二所示的是原始图像与卷积神经网络处理图像的结果。在卷积神经网络进行检测的时候，当卷积神经网络的滤波器滑动到目标区域的时候，得到的计算结果应该很大。按照矩阵操作，将这个区域的图像的像素矩阵与卷积神经网络的滤波器做矩阵的乘法运算，得到很大的结果，具体过程如图三所示。而如果是非目标形状的像素矩阵与卷积神经网络的滤波器做矩阵的乘法运算的时候，得到的结果应该是相对较小的，具体结果如图四所示。 图三. 目标形状的像素矩阵与卷积神经网络卷积核做矩阵的乘法运算示意图 图四. 非目标形状的像素矩阵与卷积神经网络卷积核做矩阵的乘法运算示意图 都说卷积神经网络的卷积层所提取到的特征是随着卷积层的增加变得越快来越复杂