人工神经网络

3 月，跳不动了？>>> 本文在回顾一些典型激活函数和注意力机制的基础上，解读了一种“注意力机制下的新型激活函数”，名为“自适应参数化修正线性单元”（Adaptively Parametric Rectifier Linear Unit， APReLU ）。 1.激活函数 激活函数是目前人工神经网络的核心组成部分之一，其作用是进行人工神经网络的非线性化。我们首先回顾一些最为常见的激活函数，包括Sigmoid激活函数、Tanh激活函数和ReLU激活函数，分别如图所示。 Sigmoid激活函数和Tanh激活函数的梯度取值范围分别是(0,1)和(-1,1)。当层数较多时，人工神经网络可能会遭遇梯度消失的问题。ReLU激活函数的梯度要么是零，要么是一，能够很好地避免梯度消失和梯度爆炸的问题，因此在近年来得到了广泛的应用。 然而，ReLU激活函数依然存在一个缺陷。如果在人工神经网络训练的时候，遇到了特征全部小于零的情况，那么ReLU激活函数的输出就全部为零。这个时候就训练失败了。为了避免这种情况，有学者就提出了leaky ReLU激活函数，不将小于零的特征置为零，而是将小于零的特征乘以一个很小的系数，例如0.1和0.01。 在leaky ReLU中，这个系数的取值是人工设置的。但是人工设置的系数未必是最佳的，因此何恺明等人提出了Parametric ReLU激活函数（参数化ReLU激活函数

一、 综述 神经网络领域最早是由心理学家和神经学家开创的，旨在开发和测试神经的计算机模拟。粗略地说，神经网络是一组连接的输入/输出单元，其中每个连接都与一个权重相关联。在学习阶段，通过调整这些权重，能够预测输入元组的正确类标号。由于单元之间的连接，神经网络学习又称连接者学习（Connectionist Learning）。 神经网络需要很长的训练时间，对于有足够长训练时间的应用更为合适。需要大量的参数，通常主要靠经验确定，如网络拓扑结构。神经网络常常因为可解释性差而受到批评。例如，人们很难解释网络中学习的权重和“隐含单元”的符号意义。 然而，神经网络的优点包括其对噪声数据的高承受能力，以及对未经训练的数据模式分类能力。在缺乏属性和类之间的联系的知识时可以使用它们。不像大部分决策树算法，它们非常适合连续值的输入和输出。神经网络算法是固有并行的，可以使用并行技术来加快计算过程。 有许多不同类型的神经网络和神经网络算法，最流行的神经网络算法是后向传播，它在20世纪80年代就获得了声望。 二、 多层前馈神经网络（ Multilayer Feed-Forward ） 后向传播算法在多层前馈神经网络上进行学习。它迭代地学习用于元组类标号预测的一组权重。多层前馈神经网络由一个输入层、一个或多个隐藏层和一个输出层组成。多层前馈神经网络的例子如下图所示： 每层由若干个单元组成

转载 http://blog.sina.com.cn/s/blog_4910d7c501000ch4.html 人工神经网路 学习是要透过我们的头脑，因而研究大脑神经细胞的运作，可以帮助我们了 解学习在脑神经是如何完成的，进而可以模拟神经细胞的运作以达到類似学习的 功能。据估计人脑约有一千亿（1011）个神经细胞，每个神经细胞约有一千（103） 根連结与其它神经细胞相連，因此人脑中约有一百万亿（1014）根連结，形成一 个高度連结网狀的神经网路（neural network）。科学家们相信：人脑的信息处理工作即是透过这些連结來完成的 [葉怡成1993]。 神经细胞的形狀与一般的细胞有很大的不同，它包括：细胞体（soma）：神经 细胞中呈核狀的处理机构；轴突（axon）：神经细胞中呈轴索狀的输送机构；树狀 突（dendrites）：神经细胞中呈树枝狀的输出入机构；与突触（synapse）：树狀突上呈点狀的連结机构。根据神经学家的研究发现：当神经细胞透过神经突触与树 狀突从其它神经元输入脉波讯号后，经过细胞体处理，产生一个新的脉波讯号。 如果脉波讯号够强，将产生一个约千分之一秒100 毫伏的脉波讯号。这个讯号再 经过轴突传送到它的神经突触，成为其它神经细胞的输入脉波讯号。如果脉波讯 号是经过兴奋神经突触（excitatory synapse），则会增加脉波讯号的速率；相反的

本文首先盘点了传统的激活函数以及注意力机制，然后解读 了一种“注意力机制下的新型激活函数”，也就是自适应参数化修正线性单元 （ Adaptively Parametric Rectifier Linear Unit，APReLU ）。 1. 激活函数 激活函数是现代人工神经网络的核心组成部分，其用处是进行人工神经网络的非线性化。我们首先介绍几种最为常见的激活函数，即 Sigmoid 激活函数、 Tanh 激活函数和 ReLU 激活函数，分别如下图所示。 Sigmoid 激活函数和 Tanh 激活函数的梯度取值范围分别是( 0,1 )和( -1,1 )。当层数较多时，人工神经网络可能会遭遇梯度消失的问题。 ReLU 激活函数的梯度要么是零，要么是一，能够很好地避免梯度消失和梯度爆炸的问题，因此在近年来得到了广泛的应用。 然而， ReLU 激活函数依然存在一点缺陷。如果在人工神经网络训练的时候，遇到了特征全部小于零的情况，那么 ReLU 激活函数的输出就全部为零。这个时候就训练失败了。为了避免这种情况，有学者就提出了 leaky ReLU 激活函数，不将小于零的特征置为零，而是将小于零的特征乘以一个很小的系数，例如 0.1 和 0.01 。 在 leaky ReLU 中，这个系数的取值是人工设置的。但是人工设置的系数未必是最佳的，因此何恺明等人提出了 Parametric ReLU

目前，深度学习（Deep Learning，简称DL）在算法领域可谓是大红大紫，现在不只是互联网、人工智能，生活中的各大领域都能反映出深度学习引领的巨大变革。要学习深度学习，那么首先要熟悉神经网络（Neural Networks，简称NN）的一些基本概念。当然，这里所说的神经网络不是生物学的神经网络，我们将其称之为人工神经网络（Artificial Neural Networks，简称ANN）貌似更为合理。神经网络最早是人工智能领域的一种算法或者说是模型，目前神经网络已经发展成为一类多学科交叉的学科领域，它也随着深度学习取得的进展重新受到重视和推崇。 神经元模型 人工神经网络是受到人类大脑结构的启发而创造出来的。如下图所示，在我们的大脑中，有数十亿个称为神经元的细胞，它们互相连接形成成了一个神经网络。 神经网络算法正是模仿了上面的网络结构。下面是一个人工神经网络的构造图。每一个圆代表着一个神经元，他们连接起来构成了一个网络。 人类大脑神经元细胞的树突接收来自外部的多个强度不同的刺激，并在神经元细胞体内进行处理，然后将其转化为一个输出结果，下图为生物学上的神经元结构示意图： 人工神经元也有相似的工作原理。如下图所示。 上面的x是神经元的输入，相当于树突接收的多个外部刺激。w是每个输入对应的权重，它影响着每个输入x的刺激强度。 大脑的结构越简单，那么智商就越低。单细胞生物是智商最低的了

今天，来自NXP公司的宋岩和张岩向我展示和讨论了他们使用部署在智能车单片机中上的人工神经网络控制电磁车模运行的实验情况情况。下面的视频中，车模的方向控制是由单片机中的神经网络模型给出了。车模运行速度大约1.3/s左右。 在人工神经网络控制下电磁车模运行情况 猛一看，这个电磁车模运行很平常。但该车模所使用的电磁传感器仅仅是由车模中间和车头部署的七个近距离电磁传感器，而车前方前伸出支架上的传感器并没有参与控制。在这种配置下，车模的速度就非常可观了。 那么该车模是如何仅仅使用车身局部传感器的信息，就能够达到大的前瞻传感器控制的效果呢？原来车模中的控制算法是由人工神经网络实现的。这辆实验的车模来自逐飞科技提供，在原来传统的车模上面部署了七个电磁传感器。用于采集车模周围的电磁场，并将采集的数值喂送给车模上单片机中的人工神经网络。 实验所使用的智能车和传感器配置 车模前方伸出来的传感器是使用传统方法控制所需要的电磁传感器。车模在使用传统的方法引导车模沿着赛道运行。在此过程中，车载单片机采集车模前方和中间位置的传感器值，并同时将舵机的控制命令通过WiFi无线传输模块发送到PC端进行存储。由此形成未来人工神经网络训练数据集合。七路传感器和舵机控制命令（红线）数据都归一化到一个字节范围内（-128~127）。小车运行4圈，采集数据量约为4万条左右。数据如下面动图所示： 七路电磁数据和舵机控制指令

对于非线性系统如果使用传统的线性方法进行建模，会带来很大的误差。使用非线性建模方法，特别是使用动态人工神经网络，可以比较精确的获得对象的输入输出模型。 在秋季学期人工神经网络课程的第三次作业中，为了增加一道实际控制对象建模的作业题，对一个废旧的热吹风枪进行改造，使得它加热电压可以改变，并增加了测量出风温度和风速的传感器。可以同时采集到工作电压与出口温度的数据。 热风枪出口温度与工作电压之间呈现非线性关系 由于热风枪的功率与施加的电压呈现二次关系，这也就直接影响到加热电压与出口温度之间呈现非线性关系。 通过对每个施加电压测量对应稳态时出风口温度，绘制出它们之间的工作曲线。如下图所示，显示了输入电压与输出温度之间的非线性关系。 热风枪出口温度与加热工作电压之间的关系 热风枪的出口温度与环境温度、风速都有直接的关系。上述曲线是在保持环境温度和风速恒定的情况下获得的。 由于热风枪内的加热元件有一定的热惯性，再加上热扩散到空气中有延迟，所以出口温度与工作电压之间是一个动态关系。 下图显示了在施加55V电压后，出口温度呈现的动态响应曲线。 热风枪的在施加单位阶跃电压后的动态过程 如果热风枪的输入电压与出口温度之间是线性关系，则可以通过第一原理建立响应的微分方程，获得系统的动态模型。也可以通过输入输出之间数据对系统进行动态建模。 通过系统输入输出数据建立线性模型，可以通过系统的单位阶跃响应

人工智能、机器学习及深度学习的起源和发展 发展时间线 第一阶段：人工智能起步期 1956—1980s 1956达特茅斯会议标志AI诞生 1957神经网络Perceptron被罗森布拉特发明 1970受限于计算能力，进入第一个寒冬 第二阶段：专家系统推广 1980s—1990s 1980 XCON专家系统出现，每年节约4000万美元 1986 BP ，Geoffrey Hinton提出了前馈算法，一个通过对输入数据按照重要进行排序的精准神经网络。 1989 卷积，Yann LeCun写了另外一篇旷世之作，描述了卷积神经网络。这些发现突破了计算机难以解决的问题，譬如从一张照片中找到一只猫。 1990——1991 人工智能计算机DARPA没能实现，政府投入缩减，进入第二次低谷 1997 IBM的DeepBlue战胜国际象棋冠军 1997 Schmidhuber发明了长短期记忆网络（LSTM） 第三阶段：深度学习 2000s—至今 2006 Hinton提出“深度学习”的神经网络 2011 苹果的Siri问世，技术上不断创新 2012 Google无人驾驶汽车上路（2009年宣布） 2012年，计算机视觉界顶级比赛ILSVRC中，多伦多大学Hinton团队所提出的深度卷积神经网络结构AlexNet一鸣惊人，同时也拉开了深度卷积神经网络在计算机视觉领域广泛应用的序幕。成功原因 大量数据，

深度学习（二）——神经网络基础 文章目录 深度学习（二）——神经网络基础 神经网络的通用分类 神经网络的基本结构 基础架构 人工神经元 激活函数 模型训练与反向传播算法 前向传播 反向传播 梯度消失和梯度爆炸 神经网络的通用分类 人工神经网络模型可以理解为一组基本处理单元，它们紧密地相互连接，对输入进行类似的数学运算后生成期望的输出。基于信息在网络中传播的方式，可以将神经网络分为两个通用类别： 前馈神经网络 前馈神经网络 中信息的流动只能 由前到后 ，也就是说，一层神经元的输出只能作为后一层神经元的输入。这些网络架构可以被称为 有向无环图 。典型的模型有 多层感知器（MLP） 和 卷积神经网络（CNN） 。 反馈神经网络 反馈神经网络 具有形成有向循环的连接，也就是说，后一层神经元也可以反过来作为前一层神经元的输入，这就使得神经网络 可以处理序列数据 。反馈网络还具有 记忆能力 ，可以在其内部存储器中存储信息和序列关系。典型的模型有 循环神经网络（RNN） 和 长短期记忆网络（LSTM） 。 神经网络的基本结构 下面以多层感知器为例，介绍神经网络的基本结构。 基础架构 下图给出了MLP网络架构的一个例子： 这是一个五层感知器的例子，每一层分别含有3、4、2、3、3个人工神经元。我们用这个例子来介绍人工神经网络的一些特点： 分层架构 ：人工神经网络包含层次化的处理级别。每个级别被称为

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。主要研究计算机怎样模拟或实现人类的学习行为，以获取新的知识和技能，重新组织已有的知识结构，不断的改善自身的性能。 机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。这些算法是一类能从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。简而言之，机器学习主要以数据为基础，通过大数据本身，运用计算机自我学习来寻找数据本身的规律，而这是机器学习与统计分析的基本区别。 机器学习主要有三种方式： 监督学习，无监督学习与半监督学习 。 （1）监督学习：通过一堆训练数据（含有特征及标签的数据）推导一个函数，当新的数据输入时，可以根据函数预测该数据对应的标签。监督学习的训练集要求是包括输入和输出，也就是特征和目标。如今机器学习已固有的监督学习算法有可以进行分类的，eg:贝叶斯分类，SVM，ID3，C4.5以及分类决策树，以及现在人工神经网络：BP神经网络，RBF神经网络，Hopfield神经网络、深度信念网络和卷积神经网络等。人工神经网络是模拟人大脑的思考方式来进行分析，在人工神经网络中有显层，隐层以及输出层，而每一层都会有神经元，神经元的状态或开启或关闭，这取决于大数据。同样监督机器学习算法也可以作回归，最常用是逻辑回归。 （2）无监督学习