神经网络模型

卷积神经网络（Convolutional Neural Network）的结构类似于神经网络，可以看做是对其的改进。它利用 局部连接 、 权值共享 、 多核卷积 、 池化 四个手段大大降低了参数的数目，使得网络的层数可以变得更深，并且能够合理的隐式的提取特征。CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于其特征检测层通过训练数据进行学习，隐式地从训练数据中进行学习， 避免了显式的特征抽取 ；再者由于同一特征映射面上的神经元权值相同，所以 网络可以并行学习 ，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是 多维输入向量的图像 可以直接输入网络 这一特点避免了特征提取和分类过程中数据重建的复杂度它可以直接处理灰度图片，能够直接用于处理基于图像的分类。 卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量。卷积神经网络的结构组成如下图： 其中包含有： 输入层、 卷积层 （Convolutional Layer）、 激励层 （ReLU layer） 池化层 （下采样层Pooling Layer)、 全连接层 （Fully Connected Network） 输出层 卷积神经网络层、池化层

0.神经网络模型 　　一个简单的神经网络，其含括3个层，输入层，隐藏层，输出层。 　　输入层（Input layer）：用于输入样本数据x； 　　隐藏层（Hidden layer）：用于处理输入的数据，例如降维，突出数据特征，其中可能含有多个层； 　　输出层（Output layer）：输入数据由隐藏层传入，经过计算，再输出最终结果。 　　其架构图[1]如下： 1. 线性模型 　　关于如何入手，由单一特征模型（1.1）开始。 1.1. 回归直线方程： 　　假设现在有一波散点，呈一定线性规律分布在x、y轴上，此时希望求出一条直线，使直线尽量离所有散点距离最近。可以设这条直线是 y = wx + b，那么如何确定w与 b 呢？ 此时的 w 就是对 x 映射到 y 数值影响的程度，也就是权重 （weight） ；而b是偏差值 （bias） ，可能为任意实数。 　　我们最终的目的是，求出一条尽量贴切所有散点（这个过程是回归 [0] ，是拟合 [1] 的一种）的直线，那么这条线 y_预 与实际值 y_实 之间的差距，必然希望是尽可能最小，而关于如何计算这个差距，那就有很多种计算方法，要看具体场景选择哪个距离函数。这个表示差距函数就是损失函数 （loss function不同翻译也叫代价函数） ，设其为 f(x) ，有： 　　设m为样本总数，以误差平方和均值的一半作为 loss： 　

前面几章介绍了卷积神经网络在自然语言处理中的应用，这是因为卷积神经网络便于理解并且易上手编程，大多教程（比如tensorflow的官方文档就先CNN再RNN）。但RNN的原理决定了它先天就适合做自然语言处理方向的问题（如语言模型，语音识别，文本翻译等等）。因此接下来一段时间应该会着重研究RNN，LSTM，Attention等在NLP的应用及其tensorflow实现。 在介绍本篇文章之前，先推荐几篇学习内容： 语言模型部分： 1、 CS224d 第四篇notes ，首先讲语言模型的问题，然后推导了RNN、biRNN和LSTM。比99%的中文博客要靠谱。 2、 language model and word2vec ，前半部分是语言模型，后半部分介绍了Skip-gram等模型，并引入word2vec。 RNN和LSTM部分： 1、 The Unreasonable Effectiveness of Recurrent Neural Networks 该文主要介绍了RNN在NLP中的应用，很直观。 2、 Understanding LSTM Networks LSTM过程中很完美的公式，相信看一遍就能记住。 3、 2的中文版 对自己英文不自信的同学可以看这个译文。 本篇文章实现基于字符的RNN语言模型，源自于 Understanding LSTM Networks ，在该篇文章中也附有

在coursera中Ng的机器学习课程中，他介绍了神经网络中的前向传播算法以及后馈算法，但是对于后馈算法中，为什么要那么做，只用了一句需要使用复杂的数学来证明。我查阅了相关的资料，对这一部分的原理进行了学习，现将这部分知识记录下来，以供共同学习。 1、简单的线性模型中误差分析 使用一个大小为 N 的训练集对一个预测（分类）模型进行训练时，总误差为： 　　　　　　 ————（1） 而在一个线性模型中，第 k 个输出 y k 是输入 x i 的线性组合： 　　　 　　————（2） 其中， w ki 是第 i 个输入到第 k 个输出的边权。对于某个输入数据（另外一种讲法叫 模式 ） n ，它的误差函数被定义为： 　　　 　　————（3） 其中， y nk 为： 　　————（4） t nk 是输入数据 n 是先所打上的标签，即真实结果。 由（3）和（4）可求得： 　　 　　　 ————（5） 我们可以看到，误差对某个边权 w ji 的偏导，等于这个边所连输出端的 误差信号 （ y nj - t nj ）与这个边所连输入端的变量的乘积。 2、神经网络的后馈算法 2.1 前馈过程 一个简单的神经网络模型如下图所示： 这个神经网络有1个输入层，2个隐层以及1个输出层；对于某个unit（神经元），它的输入等于各个前一层神经元的加权和： 　 　　　　————（6） 其中，带括号的上标表示层数，

前言： 最近有段时间没学习了，主要是MNIST数据集这一节的代码很多错误，比较难调试，而且每次报的错误还不一样，在网上百度又尝试了好多种解决办法最后才解决，挺烦的。还有就是自己本来选的人工智能方向，但是导师在这个方向貌似资源比较少，估计开学了就准备换个硬件方向了，一直都在怀疑自己还应不应该继续学Tensflow。最后就是，自己这段时间超级想买个Ipad Pro，也不知道是怎么会使，感觉跟有毒一样，本来钱就少但是就是想买，就天天在看能不能等到便宜的Ipad Pro。总是有很多事情影响学习啊！！！ 言归正传 本节学习的内容：搭建神经网络，在 minist 数据集上训练模型，输出手写数字识别准确率。 mnist 数据集 包含7万张黑底白字手写数字图片，其中55000张为训练集，5000张为验证集，10000张为测试集。每张图片大小为 28x28 像素，图片中纯黑色的像素值为0，纯白色像素值为1。数据集的标签是长度为10的一维数组，数组中每个元素索引号表示对应数字出现的概率。我们将 mnist 数据集中的数据喂入神经网络之前，把数据集中的每张图像的像素用长度是 784 的一维数组来代替，这样再将这个数组作为神经网络的输入特征喂入神经网络。 使用 input_data 模块中的 read_data_sets() 函数加载 minist 数据集： from tensorflow

1. 什么是强化学习 其他许多机器学习算法中学习器都是学得怎样做，而强化学习（Reinforcement Learning, RL）是在尝试的过程中学习到在特定的情境下选择哪种行动可以得到最大的回报。在很多场景中，当前的行动不仅会影响当前的rewards，还会影响之后的状态和一系列的rewards。RL最重要的3个特定在于： 基本是以一种闭环的形式； 不会直接指示选择哪种行动（actions）； 一系列的actions和奖励信号（reward signals）都会影响之后较长的时间。 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是 机器学习 的范式和 方法论 之一，用于描述和解决 智能体 （agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 [1] 。 上图中agent代表自身，如果是自动驾驶，agent就是车；如果你玩游戏它就是你当前控制的游戏角色，如马里奥，马里奥往前走时环境就一直在发生变化，有小怪物或者障碍物出现，它需要通过跳跃来进行躲避，就是要做action（如向前走和跳起的动作）；无人驾驶的action就是车左转、右转或刹车等等，它无时无刻都在与环境产生交互，action会反馈给环境，进而改变环境，如果自动驾驶的车行驶目标是100米，它向前开了10米，那环境就发生了变化

本文参考文献： Gehring J, Auli M, Grangier D, et al. Convolutional Sequence to Sequence Learning[J]. arXiv preprint arXiv:1705.03122, 2017. 被引次数：13 Dauphin Y N, Fan A, Auli M, et al. Language modeling with gated convolutional networks[J]. arXiv preprint arXiv:1612.08083, 2016. 被引次数：24 今天要讲的一个模型是由Facebook 人工智能 研究院提出来的完全基于卷积 神经网络 的seq2seq框架，seq2seq我在之前的推送中已经讲过好多次了，传统的seq2seq模型是基于RNN来实现的，特别是LSTM，这就带来了计算量复杂的问题。Facebook作出大胆改变，将编码器、解码器、注意力机制甚至是记忆单元全部替换成卷积神经网络，想法是不是简单粗暴？虽然单层CNN只能看到固定范围的上下文，但是将多个CNN叠加起来就可以很容易将有效的上下文范围放大。Facebook将此模型成功地应用到了英语-法语机器翻译、英语-德语机器翻译，不仅刷新了二者前期的记录，而且还将训练速度提高了一个数量级，无论是GPU还是CPU上。

　　VGG卷积神经网络模型解析 　　一：VGG介绍与模型结构 　　VGG全称是Visual Geometry Group属于牛津大学科学工程系，其发布了一些列以VGG开头的卷积网络模型，可以应用在人脸识别、图像分类等方面，分别从VGG16～VGG19。VGG研究卷积网络深度的初衷是想搞清楚卷积网络深度是如何影响大规模图像分类与识别的精度和准确率的，最初是VGG-16号称非常深的卷积网络全称为(GG-Very-Deep-16 CNN)，VGG在加深网络层数同时为了避免参数过多，在所有层都采用3x3的小卷积核，卷积层步长被设置为1。VGG的输入被设置为224x244大小的RGB图像，在训练集图像上对所有图像计算RGB均值，然后把图像作为输入传入VGG卷积网络，使用3x3或者1x1的filter，卷积步长被固定1。VGG全连接层有3层，根据卷积层+全连接层总数目的不同可以从VGG11 ～ VGG19，最少的VGG11有8个卷积层与3个全连接层，最多的VGG19有16个卷积层+3个全连接层，此外VGG网络并不是在每个卷积层后面跟上一个池化层，还是总数5个池化层，分布在不同的卷积层之下，下图是VGG11 ～GVV19的结构图： 　　 　　考虑到整个网络的精简结构显示，ReLU激活函数并没有被显示在上述结构中。上述结构中一些说明： 　　conv表示卷积层 　　FC表示全连接层 　

误差回传神经网络（BP） BP网络是一种无反馈的前向网络，网络中的神经元分层排列，每一层内的神经元的输出均传送到下一层，这种传送由联接权来达到输出的作用。工作过程分为学习期和工作期两个部分，计算关键在于学习期中的误差反向传播过程，使目标函数最小化来完成的。 1) BP神经网络的设计 如图1为BP神经网络基本结构图。 输入层、隐含层、输出层神经元分别以 予以编号。 具体的计算公式如下： 隐含层与输出层的各个神经元的输入分别为 隐含层与输出层的各个神经元的输出分别为 其中激活函数 均为单极性 Sigmiod 函数，即： 2）计算网络误差 网络的输出 与实际输出 （期望值）不相等时，存在训练的误差，则系统的平均误差为 网络的总误差表示为 上式便是BP神经网络的目标函数，学习期中的误差反向传播过程，就是使目标函数最小化来完成的。 3）各层权值的调整 每一层的权值的调整都是反向的一个过程，也就是说由实际输出值yk与实际相比得到的误差信号δ_k ，对隐含层与输出层之间的权重 w_kj进行调整。 然后由误差信号 反向传至输入层，得到输入层误差信号 ，由此起到对输入层与隐含层之间的权值调整。 其中η 为学习率，α 为动量项，以此提高BP神经网络的训练速度，且能够保持一定的稳定性。 通过网络训练，达到要求后，网络各个节点之间的互联权值就完全确定，则称整个的BP网络已经学习好。 模型建立

本文约 11000 字， 建议阅读 20 分钟。 本文为你整理周志华教授的角度深度神经网络之所以获得成功的本质因素，找到神经网络之外的其它的深度模型。 8 月 10 日至 16 日，IJCAI 2019 在中国澳门隆重召开。14 日下午， 南京大学周志华 教授进行特邀大会演讲，演讲主题是 《Deep Learning: Why deep and is it only doable for neural networks?》 。在演讲中，周志华教授从自己的角度解读了深度神经网络之所以获得成功的本质因素，以及如何在兼顾这些因素的同时，找到神经网络之外的其它的深度模型。 我们把演讲全文整理如下。 一、深度学习就等于深度神经网络吗？ 深度学习今天已经有各种各样的应用，到处都是它，不管图像也好，视频也好，声音自然语言处理等等。那么我们问一个问题，什么是深度学习？ 我想大多数人的答案，就是深度学习差不多就等于深度神经网络。有一个非常著名的学会叫 SIAM，是国际工业与应用数学学会，他们有一个旗舰的报纸叫 SIAM news。在去年的 6 月份，这个报纸的头版上就有这么一篇文章，直接就说了这么一句话， 说深度学习是机器学习中使用深度神经网络的的子领域。 所以如果我们要谈深度学习的话，是绕不开深度神经网络的。 首先我们必须从神经网络说起。神经网络其实并不是一个新生事物