神经网络模型

1、根据神经网络建立 模型的复杂度和数据模型真正复杂度之间的相对大小 ，其主要存在三种情况： (1)欠拟合:underfitting (2)相对准确 (3)过拟合：overfitting 图 2、一般情况下在不知数据模型复杂度的情况下，很容易出现建立模型过拟合的情况，这是因为原始数据中本身存在一些噪声数据，而这些噪声数据会使得所建立模型对于loss函数进行过度寻优， 从而极易出现过拟合的情况 。 3、对于模型的过拟合，主要有两个方面： (1)如何检测？ (2)如何减少和改善？ 4、对于过拟合的检测，可以使用 交叉验证 的方式，将其数据集分为三部分： 训练数据集，验证数据集和测试数据集 ，从而达到较好的检测和确定 5、对于 防止过拟合情况的出现 和过拟合现象的改善和减少方法主要有以下方法： (1)regularization方式(L1/L2) (2)momentium：添加动量(主要是指梯度) (3)learning rate decay(学习率衰减方式1/2) (4)earlystopping (5)dropout (6)SGD:随机梯度下降法 来源： https://www.cnblogs.com/Yanjy-OnlyOne/p/11656325.html

更新参数的时间和训练的方法有关，更确切的说，是我们为了设置什么时候更新参数，才使用哪种方法进行训练 1、如果一次性训练全部样本才更新参数，就将所有样本都丢进去（相当于只有一个batch），Gradient Descent梯度下降法进行计算 2、如果每计算一个样本，就更新一次参数，我们使用 Stochastic Gradient Descent 随机梯度下降 3、如果每次计算一个batch才更新参数，则使用 Batch Gradient Descent 所以这三种方式，计算得到的模型结果其实是不一样的，计算一个batch才更新模型的话，是根据每一个batch的损失函数的梯度下降的方向进行计算 来源： https://www.cnblogs.com/yjybupt/p/11648047.html

一、序言 　　之前已经写过“单神经元、浅层神经网络、深层神经网络”（感兴趣的可以翻翻），写的有点乱而且很多环节都没有说明白。这里我们尝试通过“感知机”的描述来回答一个问题：“为什么传播函数长这个样子”。 　　感知机是一种类似神经网络的预测模型，现在各种功能强大的神经网络正是在感知机的基础上诞生的，看懂感知机，神经网络也就不难了。另外，无论是感知机亦或是早期的神经网络，本质上他们都是用于处理“二分类”问题，本文就从二分类问题开始，反向推导出感知机模型。至于感知机是如何转变为神经网络以及更多的细节就留到以后再讲吧，欢迎关注“零基础爱学习”一起学习人工智能。 二、二分类 　　“二分类”只是一种叫法，可以将处理二分类问题的模型想象成一个黑盒子，无论输入什么内容，输出就是1或0（yes or no）。典型的二分类问题如下： 　　1）图中是否包含猫 　　2）图中是否包含小汽车 　　3）图中是否包含人像 　　如“图中的猫是什么颜色”这样的问题就不属于二分类了，因为猫可能是白色、黑色、黄色，甚至图中压根就没有猫。 　　这里我们考虑一个非常简单的二分类问题： 　　 “仅有4个像素的图片白不白” 　　下面随机生成了一张四个像素的图片（将像素放大了N倍方便观察） 　　对应的灰度值是（灰度值范围0-255，0表示全黑、255表示全白）： 　　X=(240,200,100,10) 　　要判断上述图片“白不白

摘要 我们训练了一个又大又深的卷积神经网络CNN来将ImageNet LSVRC-2010数据集中的120万章高分辨率的图片分成1000个不同的类。在测试集中，我们的top1错误率是37.5%，top5的错误率是17.0%。相对而言比之前的state-of -art好很多。这个神经网络有6000万个参数，65个神经元，5个卷积神经网络（有一些带有最大池化层），3个全连接层，最后有一个1000路的softmax。为了训练的快一些，我们采用了一个非饱和的神经元和非常有效的卷积神经网络GPU实施方式。为了减少全连接层的过拟合，我们使用了最近研究出来的一种方法-droupout，他能够有效的降低过拟合。我们还将这个模型的变体参加了ILSVRC-2012竞赛，并取得冠军，top5的错误率是15.3%，第二名是26.2%。 1 、开场白 四年前，Yann LeCun和他的团队的一个论文被最领先的CV会议拒绝了，因为怎么设计一个视觉系统内部是不明确的。那个时候，大部分的计算机视觉的研究人员认为视觉系统需要使用任务的自然理解来手动进行设计视觉系统。他们认为图片中对象的分类任务不会被简单的呈现图片和和对相应的图片进行标记这种方式获得。 很多计算机视觉领域内的团队没有意识到：之前的方法 由理解这个领域内的程序员来手动设计；用一种有力的通用的学习过程来替代这个专门领域中的程序员，也是可以的

怎么入门机器/深度学习？ 回答这个问题，最先要考虑的问题是：你有多少时间？ 准备用三个月入门，和想要一个月速成，肯定是截然不同的路径。当然我建议大家稳扎稳打，至少可以拿出五个月的时间来学好机器学习的基础知识。 基础很重要，知其所以然很重要。毕竟工具总在进步，每个月都会出现更好的深度学习技术，但基础知识是不变的。 如何用五个月时间入门？下面分三个部分，详细指南。（以及，如果你确实时间有限，最后还有一个速成指南） 五个月入门 Part 1：从机器学习开始（两个月） 最好的入门教程，就是吴恩达讲授的机器学习。吴恩达这套课程发布很久了，虽然有些地方稍微过时，但相信我，现在没有任何公开的课程，能比吴恩达讲得更好。真的，课程结束时我几乎哭了出来。 这个课程可以说适合任何水平的学生，当然，你最好还是得知道两个矩阵如何相乘，以及对编程有一些基本的了解。 这套课程可以前往Coursera学习，传送门： https://www.coursera.org/learn/machine-learning 也可以上网易公开课收看，传送门： http://open.163.com/special/opencourse/machinelearning.html 如果你有时间，一定要听完全部的课程。如果时间紧张，至少要听完前五节课程，后面的可以暂时跳过。 吴恩达的机器学习课程深入讲解了经典的机器学习模型，如线性回归

　　自己搭建神经网络时，一般都采用已有的网络模型，在其基础上进行修改。从2012年的AlexNet出现，如今已经出现许多优秀的网络模型，如下图所示。 主要有三个发展方向： 　　　　Deeper：网络层数更深，代表网络VggNet 　　　　Module： 采用模块化的网络结构（Inception），代表网络GoogleNet 　　　　Faster: 轻量级网络模型，适合于移动端设备，代表网络MobileNet和ShuffleNet 　　　　Functional: 功能型网络，针对特定使用场景而发展出来。如检测模型YOLO，Faster RCNN；分割模型FCN， UNet 　　其发展历史可以分为三个阶段： 　　这些模型在ImageNet上的表现效果对比如下： 　　 1. LeNet-5 　　LeNet-5是LeCun在1998年的论文中 Gradient-Based Learning Applied to Document Recognition 提出的网络模型，其结构如下：（其中卷积为5*5的kernel，下采样为2*2的MaxPooling），其结构比较简单，关于LeNet-5结构设计的详细分析，参见： 参考一 ， 参考二 2. AlexNet 　　AlexNet是Alex Krizhevsky在2012的文章ImageNet Classification with Deep

仅作学习使用 Fashion MNIST 数据集，其中包含 70,000 张灰阶图像。 我们使用了其中的 60,000 张图像训练网络，并使用剩余的 10,000 张测试网络效果。 为了将这些图像提供给神经网络，我们需要将 28 × 28 图像扁平化为有 784 个元素的一维向量。 我们的网络包括一个全连接层，其中有 128 个单元（神经元）；以及一个输出层，其中有 10 个单元，对应于 10 个输出标签。这 10 个输出表示每个类别的概率。我们使用 softmax 激活函数计算概率分布。 来源： https://www.cnblogs.com/xuehuiping/p/11636474.html

　　Dropout是深度学习中的一种防止过拟合手段，在面试中也经常会被问到，因此有必要搞懂其原理。 1 Dropout的运作方式 　　在神经网络的训练过程中，对于一次迭代中的某一层神经网络，先随机选择中的一些神经元并将其临时隐藏(丢弃)，然后再进行本次训练和优化。在下一次迭代中，继续随机隐藏一些神经元，如此直至训练结束。由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。 　　在训练时，每个神经单元以概率$p$被保留(Dropout丢弃率为$1-p$)；在预测阶段（测试阶段），每个神经单元都是存在的，权重参数$w$要乘以$p$，输出是：$pw$。示意图如下： 预测阶段需要乘上$p$的原因： 　　前一层隐藏层的一个神经元在$dropout$之前的输出是$x$，训练时$dropout$之后的期望值是$E=px+(1−p) \dot 0$; 在预测阶段该层神经元总是激活，为了保持同样的输出期望值并使下一层也得到同样的结果，需要调整$x->px$. 其中$p$是Bernoulli分布（0-1分布）中值为1的概率。 2 Dropout 实现 　　 如前文所述，在训练时随机隐藏部分神经元，在预测时必须要乘上p。代码如下： 1 import numpy as np 2 3 p = 0.5 # 神经元激活概率 4 5 def train_step(X): 6 """ X

模型、策略、算法： 　　 在深度学习中，无论多么复杂的结构，终究逃不过三种构造，那就是模型、策略、算法，它们都是在这三种结构基础上进行的变形、扩展、丰富 　　模型：构建参数、函数，确定学习方式 　　策略：策略的重点时损失函数，即构造出一种能都使得损失最小的函数结构 　　算法：不断迭代，深度学习 BP神经网络基本概念： 　　BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。它模拟了人脑的神经网络的结构，而人大脑传递信息的基本单位是神经元，人脑中有大量的神经元，每个神经元与多个神经元相连接。BP神经网络，类似于上述，是一种简化的生物模型。每层神经网络都是由神经元构成的，单独的每个神经元相当于一个感知器。输入层是单层结构的，输出层也是单层结构的，而隐藏层可以有多层，也可以是单层的。输入层、隐藏层、输出层之间的神经元都是相互连接的，为全连接。总得来说，BP神经网络结构就是，输入层得到刺激后，会把他传给隐藏层，至于隐藏层，则会根据神经元相互联系的权重并根据规则把这个刺激传给输出层，输出层对比结果，如果不对，则返回进行调整神经元相互联系的权值。这样就可以进行训练，最终学会，这就是BP神经网络模型。 BP神经网络简介： BP神经网络已广泛应用于非线性建摸、函数逼近、系统辨识等方面,但对实际问题,其模型结构需由实验确定,无规律可寻

【PyTorch深度学习60分钟快速入门 】Part1：PyTorch是什么？来源：https://www.cnblogs.com/leejack/p/8370634.html import torch import numpy as np #用于替代NumPy（torch对象叫张量，带前缀和括号，并用逗号分隔，numpy对象叫数组，用空格分隔），#torch可以使用GPU的计算力,一种深度学习研究平台，可以提供最大的灵活性和速度 x = torch.Tensor(5, 3) #创建一个5x3且未初始化的矩阵,如果将首字母大写的Tensor改成小写tensor，会报错 #print(x) x = torch.rand(5, 3)#创建一个随机初始化的矩阵rand表示0~1之间均匀分布的随机数 #print(x) #print(x.size()) y = torch.rand(5, 3) #print(x + y) #print(torch.add(x, y)) result = torch.Tensor(5, 3) #print(result) torch.add(x, y, out=result) #print(result) y.add_(x) #原地替换，任何原地改变张量值的操作后缀都是固定的_，例如：x.copy_(y)、x.t_()，都将原地改变x的值。 #print(y