神经网络模型

卷积神经网络之ResNet网络模型学习 参考文章网址：https://www.cnblogs.com/vincentqliu/p/7464918.html Deep Residual Learning for Image Recognition 微软亚洲研究院的何凯明等人 论文地址 https://arxiv.org/pdf/1512.03385v1.pdf Abstract 更深层次的神经网络训练更加困难。我们提出一个 Residual的学习框架来缓解训练的网比之前所使用的网络深得多。我们提供全面的经验证据显示这些残余网络更容易优化，并可以从显着增加的深度获得准确性。在ImageNet数据集上我们评估深度达152层残留网比VGG网[41]更深，但复杂度仍然较低。这些残留网络的集合实现了3.57％的误差在ImageNet测试集上。这个结果赢得了ILSVRC 2015分类任务第一名。 比赛总结ppt链接 http://image-net.org/challenges/talks/ilsvrc2015_deep_residual_learning_kaiminghe.pdf ICCV 2015 Tutorial on Tools for Efficient Object Detection链接 http://mp7.watson.ibm.com/ICCV2015

神经网络出现了很多年了，它曾经沉寂，但如今他又火热起来，尤其是卷积神经网络（CNN）在图像识别领域具有广泛应用和不可替代的优势。 首先从简单的神经网络说起： M-P模型： 它是首个通过模仿神经元而形成的模型。在模型中，多个输入xi(i=1，…，n)，对应一个输出y。让每个输入xi乘以对应的权重wi，然后相加求和得到y结果之和如果大于阈值h，则输出1，否则就输出0。 上述的f（x）就是激活函数，就是看输入x能不能激活f，使其输出对应的值。 上面对应的是多输入单输出，当然也有单输入单输出，但是用处相对较小。 但是这种简单的输入输出并不能解决我们遇到的问题，我们需要他自己有学习功能，自己调整参数wi。为什么要调整参数wi呢？因为常常输出的y并不是我们想要得到的准确值。为此我们需要修改参数wi，使其输出我们想要的值。因此我们想要的值（设为target），与输出的值之间就会有一个误差E，E=target-y。这就是实际输出和期望输出之间的误差。而我们可以通过误差修正学习，修改参数wi，h。 wi=wi+α（target-y）xi h=h-α（target-y）。 α是学习率，后边会讲。α越大，学习速度越快，修改参数wi的速度越快。α越小，学习速度越慢，修改参数wi的速度越慢 多层感知器 上面的例子已经具有了初步的功能，但是要是解决更加复杂的问题，还是不行。多层感知器应运而生。 如图

机器学习（十）神经网络 前言： 我们前面已近学习了线性回归解决预测问题，逻辑回归解决分类问题，那么现在我们学习神经网络能解决什么问题呢？我认为它是为了解决线性回归和逻辑回归存在的不足而出现的。我们想想对于逻辑回归，如果我们的特征要素比较少的情况下，比如只有x1,x2,x3，那么我们得到的多项式还能够接受，但是如果我们问题的特征要素很多的情况，比如x1,x2,x3,…,x100,有100个特征要素，那么对于逻辑回归仅仅是二次多项式，我们将会有大概5000个项，如果仅仅三次多项式，我们的多项式将有大概17000项，这对于人类的预测以及计算机的处理都是一个极大的挑战，并且导致效率极低！！！！因此，人们想到人类的大脑每天处理的信息量更是巨大的，那么能不能模仿人类神经解决这个问题呢？由此神经网络应运而生。（这是我个人的主观理解，如有不当，请评论区指正，谢谢~~） 一、神经网络的直观理解 1、大脑中的神经元结构如下 2、参照大脑中的神经元结构得到有个神经元模型如下 关于神经网络中的激活函数并不一定是上图中的sigmoid函数，比较常用的还有tanh函数，ReLU函数等， 关于激活函数可以参考这篇文章 ，其中的θ 1 ，θ 2 ，θ 3 ，θ 4 称为 权重 或者 参数 ，本博文称仍像前面的线性回归、逻辑回归一样称其为 参数 3、神经网络就是由上图的多个神经元组合而成，神经网络模型如下

神经元模型 神经网络 （neural networks）定义为：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 神经网络中最基本的成分是 神经元 （neuron）模型，其中最典型的是“M-P神经元模型”，其由多个输入信号，神经元模型通过将输入信号在加权求和，然后与该神经元阈值比较，通过 激活函数 （activation function）处理后产生结果输出。 理想的激活函数为阶跃函数，但是为避免其不连续不光滑的性质，常用Sigmoid函数代替作为激活函数，由于其将输入值挤压到了(0,1)的输出范围，因此也称 挤压函数 （squashing function） 把许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络 感知机与多层网络 感知机 （Perceptron）由两层神经元组成，输入层接收外界输入信号后传递给输出层，输岀层是M-P神经元，亦称阈值 逻辑单元 （threshold logic unit） 感知机能够很简单的实现逻辑与、或、非运算 通过训练集可以对感知机进行训练，训练的过程即对阈值参数、权重参数进行调整的过程，其中η称 学习率 （learning rate） 感知机只拥有单层 功能神经元 （functional neuron），只能解决 线性可分 （linearly separable

深度学习笔记------神经网络 神经网络 层级结构 多层模型 激活函数 ReLU函数 Sigmoid函数 Tanh函数 模型计算 正向传播 反向传播 衰减与爆炸 参数初始化 小结 神经网络 与生物学中的神经网络相似，其是一个网状的结构，其组成的基本单元是一个个的神经元模型，这些小的单元模型可以处理传入的部分数据，并根据相应的结果来产生相应数据与信号，配合其它的神经元模型协同工作。 层级结构 除此之外，这里的神经网络是一个层级结构，整体分为输入层，输出层与隐藏层。 输入层 ：输入层是数据传入的入口，这一层不包含计算只用于传入数据。 输出层 ：输出层是数据输出的出口，但是这一层包含计算，只含有输入层与输出层便可构成可用的模型了。 隐藏层 ：夹在输出层与输入层之间有若干的隐藏层，隐藏这个词给人以一种黑箱的感觉，其中实现了相关的运算，层数与相关实现是比较灵活的可以自定义。 相邻的层中除输出层与输入层外，前一层的输出是下一层的输入。各层的神经元数量可能不同，特别是在隐藏层中相关的实现可以非常灵活。 多层模型 在神经网络中我们重点在于多层模型上，这里的多层是指至少要有隐藏层。 而模型的重点在于各神经元间连线的权值上，这些权值实际定义了相关层级数据到下一层级的线性运算，是这个模型要"学习"的重点。除了权值之外还有阈值，也可以叫偏置，在线性回归 y = w 1 x 1 + . . . + w n

神经网络同时优化两个模型的参数/加载两个模型的参数 框架：Pytorch 以Adam为例 一、传参和优化 1、传入/优化一个模型的参数： opt = torch . optim . Adam ( model_1 . parameters ) 2、同时传入/优化两个模型的参数： opt = torch . optim . Adam ( [ { 'params' : model_1 . parameters ( ) } , { 'params' : model_2 . parameters ( ) } , lr = 0.001 , ] ) 3、形式2两个模型具有相同的其他参数（如 lr 等），若要设置不同的参数，可以分别在字典中给出 opt = torch . optim . Adam ( [ { 'params' : model_1 . parameters ( ) , lr = 0.002 } , { 'params' : model_2 . parameters ( ) , lr = 0.003 } ] ) # 除lr以外的其他参数都可以采用同样方式给出 二、保存和加载 1、同一文件中保存多个模型的参数 1.1、保存单个模型 # 保存整个模型 save_name = 'models.pth' torch . save ( model_1 , save_name ) # 仅保存参数

1、 梯度下降算法 的正确步骤是什么？ a.计算预测值和真实值之间的误差 b.重复迭代，直至得到网络权重的最佳值 c.把输入传入网络，得到输出值 d.用随机值初始化权重和偏差 e.对每一个产生误差的神经元，调整相应的（权重）值以减小误差 A.abcde B.edcba C.cbaed D.dcaeb 解析：正确答案 D ，考查知识点-深度学习。 2、已知： - 大脑是有很多个叫做神经元的东西构成，神经网络是对大脑的简单的数学表达。 - 每一个神经元都有输入、处理函数和输出。 - 神经元组合起来形成了网络，可以拟合任何函数。 - 为了得到最佳的神经网络，我们用梯度下降方法不断更新模型 给定上述关于神经网络的描述，什么情况下 神经网络模型 被称为深度学习模型？ A.加入更多层，使神经网络的深度增加 B.有维度更高的数据 C.当这是一个图形识别的问题时 D.以上都不正确 解析：正确答案 A ，更多层意味着网络更深。没有严格的定义多少层的模型才叫深度模型，目前如果有超过2层的隐层，那么也可以及叫做深度模型。 3、训练 CNN 时，可以对输入进行旋转、平移、缩放（增强数据）等预处理提高模型泛化能力。这么说是对，还是不对？ A.对 B.不对 解析： 对 。如寒sir所说，训练CNN时，可以进行这些操作。当然也不一定是必须的，只是data augmentation扩充数据后，模型有更多数据训练

先简单理解一下卷积这个东西。 （以下转自https://blog.csdn.net/bitcarmanlee/article/details/54729807 知乎是个好东西） 1.知乎上排名最高的解释 首先选取知乎上对卷积物理意义解答排名最靠前的回答。 不推荐用“反转/翻转/反褶/对称”等解释卷积。好好的信号为什么要翻转？导致学生难以理解卷积的物理意义。 这个其实非常简单的概念，国内的大多数教材却没有讲透。 直接看图，不信看不懂。以离散信号为例，连续信号同理。 已知x[0] = a, x[1] = b, x[2]=c 已知y[0] = i, y[1] = j, y[2]=k 下面通过演示求x[n] * y[n]的过程，揭示卷积的物理意义。 第一步，x[n]乘以y[0]并平移到位置0： 第二步，x[n]乘以y[1]并平移到位置1 第三步，x[n]乘以y[2]并平移到位置2： 最后，把上面三个图叠加，就得到了x[n] * y[n]： 简单吧？无非是平移（没有反褶！）、叠加。 从这里，可以看到卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。 重复一遍，这就是卷积的意义：加权叠加。 对于线性时不变系统，如果知道该系统的单位响应，那么将单位响应和输入信号求卷积，就相当于把输入信号的各个时间点的单位响应 加权叠加，就直接得到了输出信号。 通俗的说：

　　自2012年AlexNet提出以来，图像分类、目标检测等一系列领域都被卷积神经网络CNN统治着。接下来的时间里，人们不断设计新的深度学习网络模型来获得更好的训练效果。一般而言，许多网络结构的改进（例如从VGG到ResNet可以给很多不同的计算机视觉领域带来进一步性能的提高。 　　ResNet（Residual Neural Network）由微软研究员的 Kaiming He 等四位华人提出，通过使用 Residual Uint 成功训练152层深的神经网络，在 ILSVRC 2015比赛中获得了冠军，取得了 3.57%的top-5 的错误率，同时参数量却比 VGGNet低，效果非常突出，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero 也使用了ResNet，所以可见ResNet确实很好用。ResNet的结构可以极快的加速超深神经网络的训练，模型的准确率也有非常大的提升。之前我们学习了Inception V3，而Inception V4则是将 Inception Module和ResNet相结合。可以看到ResNet是一个推广性非常好的网络结构，甚至可以直接应用到 Inception Net中。 1，Highway Network简介 　　在ResNet之前

6.1 XOR例子 对于如图所示的异或问题，简单的单层线性函数 f ( x , w , b ) = x T w + b f(x,w,b)=x^Tw+b f ( x , w , b ) = x T w + b 无法解决异或问题； 解决办法是增加深度，即加入隐层单元h； h = f ( 1 ) ( x , W , c ) , y = f ( 2 ) ( h , w , b ) h=f^{(1)}(x,W,c),y=f^{(2)}(h,w,b) h = f ( 1 ) ( x , W , c ) , y = f ( 2 ) ( h , w , b ) ，完整版的模型是 f ( x , W , c , w , b ) = f ( 2 ) ( f ( 1 ) ( x ) ) f(x,W,c,w,b)=f^{(2)}(f^{(1)}(x)) f ( x , W , c , w , b ) = f ( 2 ) ( f ( 1 ) ( x ) ) 。 f ( 1 ) f^{(1)} f ( 1 ) 应该是哪种函数？线性模型到目前为止都表现不错，让 f ( 1 ) f^{(1)} f ( 1 ) 也是线性的似乎很有诱惑力。可惜的是，如果 f ( 1 ) f^{(1)} f ( 1 ) 是线性的。那么前馈网络作为一个整体对于输入仍然是线性的。暂时忽略截距项，假设 f ( 1 ) ( x ) = W T