神经网络模型

更多内容请关注『 机器视觉 CV 』公众号 原文地址 VGGNet 是由牛津大学视觉几何小组（Visual Geometry Group, VGG）提出的一种深层卷积网络结构，他们以7.32%的错误率赢得了2014年ILSVRC分类任务的亚军（冠军由GoogLeNet以6.65%的错误率夺得）和25.32%的错误率夺得定位任务（Localization）的第一名（GoogLeNet错误率为26.44%） 论文地址： https://arxiv.org/abs/1409.1556 网络结构 在《Very Deep Convolutional Networks for Large-Scale Image Recognition》论文中，作者给出了 6 个 VGG 模型，对应不同的网络结构和深度，具体结构如下： 设计要点 预处理过程：图片每个像素中减去在训练集上的图片计算 RGB 均值 所有隐藏层都配备了 ReLU 激活 全局使用 3×3 小卷积，可以有效的减少参数，2 个 3×3 卷积可以替代一个 5×5 卷积，参数量变成 5×5 卷积的2×3×3/5×5=0.72 倍，3 个 3×3 卷积可以替换 1 个 7×7 卷积，参数量是 7×7 卷积的 3×3×3/7×7=0.6 倍。这样的连接方式使得网络参数量更小，而且多层的激活函数令网络对特征的学习能力更强。多个 3*3

torch:张量的有关运算。如创建、索引、连接、转置、加减乘除、切片等 torch.nn: 包含搭建神经网络层的模块（Modules）和一系列loss函数。如全连接、卷积、BN批处理、dropout、CrossEntryLoss、MSELoss等 torch.nn.functional:常用的激活函数relu、leaky_relu、sigmoid等 torch.autograd:提供Tensor所有操作的自动求导方法 torch.optim:各种参数优化方法，例如SGD、AdaGrad、Adam、RMSProp等 torch.utils.data:用于加载数据 torch.nn.init:可以用它更改nn.Module的默认参数初始化方式 torchvision.datasets:常用数据集。MNIST、COCO、CIFAR10、Imagenet等 torchvision.modules:常用模型。AlexNet、VGG、ResNet、DenseNet等 torchvision.transforms:图片相关处理。裁剪、尺寸缩放、归一化等 -torchvision.utils:将给定的Tensor保存成image文件 来源： CSDN 作者： 立志正常毕业的二狗子 链接： https://blog.csdn.net/qq_43270479/article/details

首先，在网络更深或者训练时批量更大时，更容易出现out of memory的情况。 因此，在模型参数初始化完成后，我们交替地进⾏正向传播和反向传播，并根据反向传播计算的 梯度迭代模型参数。既然我们在反向传播中使⽤了正向传播中计算得到的中间变量来避免重复计 算，那么这个重⽤也导致正向传播结束后不能⽴即释放中间变量内存。这也是训练要⽐预测占⽤ 更多内存的⼀个重要原因。另外需要指出的是，这些中间变量的个数跟⽹络层数线性相关，每个 变量的⼤小跟批量⼤小和输⼊个数也是线性相关的，它们是导致较深的神经⽹络使⽤较⼤批量训 练时更容易超内存的主要原因。 来源： CSDN 作者： guanguanboy 链接： https://blog.csdn.net/guanguanboy/article/details/103999793

机器与人类视觉能力的差距（2） 作者：王垠 转自：http://www.yinwang.org/blog-cn/2019/09/15/machine-vs-human-2 本文属于个人观点，跟本人在职公司的立场无关。由于最近 GitHub 服务器在国内访问速度严重变慢，虽然经过大幅度压缩尺寸，文中的图片仍然可能需要比较长时间才能加载。这篇文章揭示了 AI 领域重要的谬误和不实宣传，为了阻止愚昧的蔓延，我鼓励大家转发这篇文章和它的后续，转发时只需要注明作者和出处就行。 这是这个系列文章的第二集，在这一集中，我想详细分析一下 AI 领域到底理解多少人类神经系统的构造。 神经网络为什么容易被欺骗 “神经网络”与人类神经系统的关系是是很肤浅的。等你理解了所谓“神经网络”，就会明白它跟神经系统几乎没有一点关系。“神经网络”只是一个误导性质的 marketing 名词，它出现的目的只是为了让外行产生不明觉厉的效果，以为它跟人类神经系统有相似之处，从而对所谓的“人工智能”信以为真。 其实所谓“神经网络”应该被叫做“可求导编程”。说穿了，所谓“神经网络”，“机器学习”，“深度学习”，就是利用微积分，梯度下降法，用大量数据拟合出一个函数，所以它只能做拟合函数能做的那些事情。 用了千万张图片和几个星期的计算，拟合出来的函数也不是那么可靠。人们已经发现用一些办法生成奇怪的图片

本文原地址 https://www.cnblogs.com/subconscious/p/4107357.html 拜读原文之后，无比喜欢，怕以后找不到，所以转载，大家喜欢可以去看原文，真的很精彩。 从机器学习谈起 　　在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 　　在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？ 　　我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一： 图1 机器学习界的执牛耳者与互联网界的大鳄的联姻　　 　　这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人。右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任。而左边的大家都很熟悉，Andrew Ng，中文名吴恩达，斯坦福大学副教授，如今也是“百度大脑”的负责人与百度首席科学家。这三位都是目前业界炙手可热的大牛，被互联网界大鳄求贤若渴的聘请，足见他们的重要性。而他们的研究方向

第五章 卷积神经网络 第五章 卷积神经网络 卷积 一维卷积 二维卷积 互相关 卷积的变种 卷积的数学性质 交换性 导数 卷积神经网络 用卷积来代替全连接 卷积层 汇聚层(池化层) 典型的卷积网络结构 参数学习 误差项的计算 几种典型的卷积神经网络 LeNet-5 AlexNet Inception 网络 残差网络 其它卷积方式 转置卷积 空洞卷积 第五章 卷积神经网络 卷积神经网络(Convolutional Neural Network，CNN或ConvNet)是一种具有局部连接、权重共享等特性的深层前馈神经网络。 卷积神经网络最早是主要用来处理图像信息。在用全连接前馈网络来处理图像时，会存在以下两个问题: (1)参数太多:如果输入图像大小为 100 × 100 × 3(即图像高度为 100，宽度 为 100，3 个颜色通道:RGB)。在全连接前馈网络中，第一个隐藏层的每个神经元到输入层都有 100 × 100 × 3 = 30, 000 个互相独立的连接，每个连接都对应一个权重参数。随着隐藏层神经元数量的增多，参数的规模也会急剧增加。这会导致整个神经网络的训练效率非常低，也很容易出现过拟合。 (2)局部不变性特征:自然图像中的物体都具有局部不变性特征，比如尺度缩放、平移、旋转等操作不影响其语义信息。而全连接前馈网络很难提取这些局部不变性特征，一般需要进行数据增强来提高性能。

转自 http://blog.csdn.net/xingzhedai/article/details/53144126 更多参考：http://blog.csdn.net/mafeiyu80/article/details/51446558 http://blog.csdn.net/caimouse/article/details/70225998 http://kubicode.me/2017/05/15/Deep%20Learning/Understanding-about-RNN/ RNN(Recurrent Neuron Network)是一种对序列数据建模的神经网络。继Bengio提出基于神经网络的概率语言模型并获得成功之后，Mikolov于2010年提出利用RNN建模语言模型，2012年Sundermeyer提出RNN的改进版本--LSTM。近两年，RNN开始在自然语言处理、图像识别、语音识别等领域迅速得到大量应用。因项目需要，近期重点学习研究了这几类学习模型，DNN、RNN、LSTM等，后面会陆续把学习总结记录并发布出来，首先为了自己加深印象，其次如果能对他人提供些许帮助就更好了。   循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP

原文地址： http://blog.csdn.net/heyongluoyao8/article/details/48636251# 循环神经网络(RNN, Recurrent Neural Networks)介绍    这篇文章很多内容是参考： http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ ，在这篇文章中，加入了一些新的内容与一些自己的理解。   循环神经网络(Recurrent Neural Networks，RNNs)已经在众多 自然语言 处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍： 1. RNNs的基本介绍以及一些常见的RNNs(本文内容)； 2. 详细介绍RNNs中一些经常使用的训练 算法 ，如Back Propagation Through Time(BPTT)、Real-time Recurrent Learning(RTRL)、Extended Kalman Filter(EKF)等学习算法，以及梯度消失问题(vanishing

目录 1 什么是RNNs 2 RNNs能干什么 　　2.1 语言模型与文本生成Language Modeling and Generating Text 　　2.2 机器翻译Machine Translation 　　2.3 语音识别Speech Recognition 　　2.4 图像描述生成 Generating Image Descriptions 3 如何训练RNNs 4 RNNs扩展和改进模型 　　4.1 Simple RNNsSRNs2 　　4.2 Bidirectional RNNs3 　　4.3 DeepBidirectionalRNNs4 　　4.4 Echo State Networks5 　　4.5 Gated Recurrent Unit Recurrent Neural Networks6 　　4.6 LSTM Netwoorks7 　　4.7 Clockwork RNNsCW-RNNs9 5 总结 6 参考博文 7 参考文献   这篇文章很多内容是参考： http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ ，在这篇文章中，加入了一些新的内容与一些自己的理解。   循环神经网络(Recurrent Neural

1.1 欢迎 深度学习改变了传统的互联网业务，例如网络搜索和广告。但是深度学习同时也使得许多产品和企业以很多方式帮助人们。从获得更好的健康关注：深度学习读取x光图像，到生活中的个性化教育，到精准化农业甚至到驾驶汽车和其他方面。如果你想用深度学习来做这些令人窒息的操作，我（吴老师）将帮助你做到这一点。学完这套课程之后，你将能更加自信的继续深度学习之路。AI让我们在接下来的十年中创造更好的社会和时代。 AI是最新的电力，在几百年前，我们社会的电气化改变了每个行业（医疗，交通等）。AI领域发展最为迅速的就是深度学习了。因此，现在深度学习是广受欢迎的一种技巧。这个课程会帮你获得这种技能。 这门课程中你会学到： 第一门课，神经网络和深度学习，第一部门中将会学习如何建立神经网络，包含一个深度神经网络，以及如何在数据上训练他们。最后，将会用神经网络辨认喵星人。 第二门课，深度学习方面的实践，提升你的深度学习网络。学习构建深度学习网络以及如何让他表现良好。将会学到：超参数调整，正则化，诊断偏差，方差以及一些高级优化算法（如momentum，adam）。 第三门课，将会用2周的时间，学习如何结构化你的机器学习工程，构建机器学习的策略改变了深度学习的错误。举个例子：分割数据的方式，分割为训练集，比较集或改变的验证集以及测试集合，在深度学习中贡献不同，影响很大，应该如何处理呢？如果你听说过