神经网络模型

如何使用 BP 神经网络 MATLAB 实现 BP 网络的创建 BP 网络的仿真 BP 网络的训练 设计实例 函数逼近 回归分析 特征识别 什么是 BP 神经网络 BP 神经网络概述 BP 网络神经元模型 BP 神经网络结构 BP 网络学习规则 BP 算法 批处理学习算法 BP 网络的局限性 来源： oschina 链接： https://my.oschina.net/u/2688910/blog/1615219

参考：https://www.cnblogs.com/eilearn/p/9780696.html 机器学习领域有个很重要的假设： 独立同分布假设，就是假设训练数据和测试数据是满足相同分布的 ，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？ BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。 　　思考一个问题：为什么传统的神经网络在训练开始之前，要对输入的数据做Normalization?原因在于神经网络学习过程 本质上是为了学习数据的分布 ，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另一方面，一旦在mini-batch梯度下降训练的时候，每批训练数据的分布不相同，那么网络就要在每次迭代的时候去学习以适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对所有训练数据做一个Normalization预处理的原因。 　　为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再比如Residual Network， BN本质上也是解释并从某个不同的角度来解决这个问题的。 1、“Internal Covariate Shift”问题 　　从论文名字可以看出

CNN、RNN、DNN的一般解释 https://www.jianshu.com/p/bab3bbddb06b?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 0.0952017.10.16 19:10:36字数 3,145阅读 4,648 CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？ 转自知乎 科言君 的回答 神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。 （扯一个不相关的：由于计算技术的落后，当时感知器传输函数是用线拉动变阻器改变电阻的方法机械实现的，脑补一下科学家们扯着密密麻麻的导线的样子…） 但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力（比如最为典型的“异或”操作）。连异或都不能拟合，你还能指望这货有什么实际用途么o(╯□╰)o 随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人（反正就是一票大牛）发明的多层感知机

参数初始化 是否可以将全部参数初始化为0 同一层的任意神经元都是同构的 它们的输入输出都相同，因此前向反向传播的取值完全相同 训练一直是对称的，同一层参数都是相同的 随机初始化参数 初始化参数为取值范围 \((-\dfrac{1}{\sqrt{d}}, \dfrac{1}{\sqrt{d}})\) 的均匀分布，或者是高斯分布 \(d\) 是一个神经元接受的输入维度 偏置可以设为启发式常数，并不会导致参数对称问题 Dropout原理与实现 以一定概率随机地“临时丢弃”一部分神经元 相当于每次迭代都在训练不同结构的神经网络，类似于Bagging方法 轻量级的Bagging集成近似，能够实现指数级数量神经网络的训练与评测 具体实现： 包含 \(N\) 个神经元的网络，在Dropout作用下可看作为 \(2^N\) 个模型的集成 这些模型可看作原网络的子网络，共享部分权值，具有相同网络层数，整体参数数目不变 减弱全体神经元之间的联合适应性，较少过拟合的风险 前向传播： 以概率 \(p\) 随机生成取值为0或1的向量，代表每个神经元是否被丢弃 \[r_j^{(l)} \sim Bernoulli(p)\] 更新神经元输出 \[\tilde{y}^{(l)}=r^{(l)} * y^{(l)}\] 测试阶段 每个神经元参数乘以概率系数 \(p\) 恢复在训练中该神经元只有 \(p\)

原理 聚类、高维可视化、数据压缩、特征提取 自组织映射神经网络本质上是一个两层的神经网络，包含输入层和输出层（竞争层）输出层中神经元的个数通常是聚类的个数 训练时采用“竞争学习”方式，每个输入在输出层中找到一个和它最匹配的节点，称为激活节点。紧接着用随机梯度下降法更新激活节点的参数，同时，激活节点临近的点也根据他们距离激活节点的远近而适当地更新（更新方式为“墨西哥帽式”）。这种竞争可以通过神经元之间的横向抑制连接（负反馈路径）来实现。 输出层节点是有拓扑关系的（一维线阵、二维平面阵、三维栅格阵），且具有保序映射的特点 学习过程： 初始化 竞争：找到激活节点 合作：更新临界节点参数 适应：适当调整相关兴奋神经元连接权重，使获胜神经元对相似输入模型的后续应用的响应增强 迭代：回到竞争 与K均值的区别 不需要确定类的个数，因为聚类结果的实际簇数可以小于神经元的个数 K均值找到一个最相似的类后，只更新这个类参数；自组织映射神经网络更新了临近的节点。所以K均值易受噪声的影响，而后者准确性可能更低一些 自组织映射神经网络的可视化较好，具有优雅的拓扑关系图 来源： https://www.cnblogs.com/weilonghu/p/11922381.html

第一节 基本的操作 点我，所有内容翻译于此链接 什么是PyTorch？ 它是基于Python语言的科学计算工具包，其设计目的包括以下两个方面： 替代Numpy从而可以使用强大的GPU进行计算 一个深读学习的研究平台，致力于提供最大的灵活性与速度 我们开始吧～ Tensors Tensors和Numpy的ndarrays很像，与之不同之处在于Tensor可以在GPU上进行运算从而获得更快的计算速度。 from __future__ import print_function import torch 利用pyTorch构造一个未初始化的5×3的矩阵： x = torch.Tensor( 5 , 3 ) print(x) -9.3921e+17 4.5628e-41 -9.3921e+17 4.5628e-41 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 [torch.FloatTensor of size 5x3] 类似于上一步，构造一个随机(值域为[0,1])初始化的矩阵： x = torch.rand( 5 , 3 ) print(x) 0.9144 0.5597 0.7737 0

Abstract 上一篇博文[1]简单介绍了对抗网络的理论和大概流程。其中所谓的对抗网络可以归结为unsupervised learning 或者 generative model。从无监督学习来进行feature representation,有k-means聚类算法，auto-encoders[2]，以及09年的Deep belief networks等等。从生成模型的角度来说，我们需要让算法能学习到数据的分布情况，而这个分布从Bayes观点来说，可以认为是class-conditional probability。然而对于复杂的数据，例如高分辨率的图像，学习到它的像素的分布情况是个极其困难的问题。所以，对于生成natural images，之前的算法一直没有取得好的效果。最近的一些算法就基本解决了这个问题，比如variational autoencoder[3],简称VAE.以及我们介绍过的adversarial networks[4]。Good fellow 14年提出的对抗网络，应该没有想到它现在会这么火爆。 对抗网络可以认为是一个生成模型和一个判别模型组成的。一般情况下，生成模型和判别模型都是使用的神经网络的算法，比如感知器，或者卷积神经网络。对于对抗网络，经过所谓的对抗过程的训练之后，Generative networks可以生成realistic image

1. 前言 金庸小说《射雕英雄传》中，周伯通被东邪“黄药师”困在桃花岛的地洞里。为了打发时间，周伯通就用左手与右手打架，自娱自乐。其武功决窍在于要先“左手画圆、右手画方”，分心二用，保证可以同时使出两种武功，从而使得武力倍增。 于是，一位名叫伊恩·古德费洛的美国人在2014年加拿大蒙特利尔大学读博士的时候想了这样一个方案，也就是说，在两个神经网络中进行“猫和鼠游戏”，一个不断地“造假”，一个不断“验真”，彼此相互追逐，在对抗中不断提高自身的本领。 　　 常见的应用场景： 数据生成——解决数据缺失 在特定的应用场景下，例如医疗领域、能源行业工业化生产，缺少训练数据是应用深度学习的最大障碍。数据增强的传统做法是将原图像拉伸旋转剪切，但这毕竟还是原来的图像，通过使用GAN，能够生成更多类似的数据。 图像编辑 图像编辑好比“美图秀秀”软件中的各种滤镜的升级版，给出一张原始的妹子图片，可以生成出金发版，卷发版，微笑版，还能修改图片中的环境因素。 恶意攻击检测 通过给深度神经网络一些特异生产的训练数据，深度学习生成的模型是可以被黑客攻击，利用甚至控制的。为了对抗这样的逆向攻击（adversarialattacks），可以训练对抗神经网络去生成更多的虚假训练数据作为假想敌，让模型在演习中去识别出这些虚假数据，就如同人类打疫苗，GAN生成的虚假数据让正在做分类的模型更加稳健。 注意力预测

CGAN之deepcolor实践 http://blog.csdn.net/kwame211/article/details/78203862?locationNum=4&fps=1 神经网络2. epoch， iteration， batchsize相关理解和说明 http://blog.csdn.net/qq_20259459/article/details/53943413 百行代码构建神经网络黑白图片自动上色系统 http://blog.csdn.net/uwr44uouqcnsuqb60zk2/article/details/78409868 github代码 deepcolor https://github.com/kvfrans/deepcolor 阅读文章：http://kvfrans.com/coloring-and-shading-line-art-automatically-through-conditional-gans/ 尝试演示：http://color.kvfrans.com 安装程序 前提 Python 2.7，NumPy - Tensorflow 0.12 OpenCV 运行它 1、 make a folder called "results" 制作一个名为“ results ”的文件夹 2、 make a folder called "imgs‘

TF使用ANN(artificial neural network) 简介 受到生物神经网络的启发 发展历史 生物神经网络单元 逻辑运算单元：and、or、xor等运算 感知机(perceptron)： h w ( x ) = s t e p ( w T ⋅ x ) //--> 多层感知机和反向传播(multi-perceptron and backpropagation) perceptron sklearn中也有感知机的库，其参数学习规则是 w n e x t s t e p i , j = w i , j + η ( y ^ j − y j ) x i //--> 其中 η //--> 是学习率 感知机与SGD很类似 逻辑斯蒂回归可以给出样本对于每一类的分类概率，而感知机则是直接根据阈值给出分类结果，因此一般在分类时，逻辑斯蒂回归相对感知机来说会常用一点 感知机是线性的，难以解决非线性问题；但是如果采用多个感知机，则可以避免这个问题 多层感知机和反向传播 感知机的激活函数是step函数，得到的结果非0即1，无法用于反向传播（需要求取微分），因此利用Logistic函数 σ ( z ) = 1 / ( 1 + e x p ( − z ) ) //--> 替代之前的step函数，这个logistic函数也被称为 激活函数 常用的激活函数有 logistic函数 双曲正切函数： t