本章介绍神经网络的起源和发展,说明形成和演变,分析应用和影响,讨论缺陷和视图,总结平台和工具,概括内容结构和案例数据。
1.1起源和发展
起源:人工神经网络(本质上是)一类对神经网络(具有深层结构)有效的训练方法
神经网络也就是一个由神经元组成的分层系统,而其深度就是不包括输入层的层数。其组成部分:输入层x,隐含层h,输出层y。
发展历程:1943MP模型->1949提出有关学习的思想->1958感知模型及其学习算法
->20世纪八九十年代研究高峰(hopfield神经网络,玻尔兹曼机,多层感知器【最早的深度学习】)
->1991提出深层网络存在梯度消失或爆炸问题(深度学习里程碑)
->2006深度学习正式发端
关键词:
1‘MP模型:n个输入,n个权值,1个偏b,一个输出y
2’第一个具有深度的神经网络:fukushima神经认知机
3‘反向传播是最常用最著名的算法。有监督学习算法,需要教师指导信号即需要提供训练样本,对给定输入指明相应输出。
4’浅层网络:具有一个隐含层的网络。
深层网络:具有两个或以上隐含层的网络。
5‘单隐含层感知器逼近定理:只要单隐含层包含的隐含神经元足够多,就能在闭区间上以任意的精度逼近任何的一个多变量连续函数。
6'梯度消失或爆炸问题:累积反向传播误差信号,在神经网络的层数增加会出现数衰减或增长的现象,从而导致数值快速收缩或越界,
也就是很难用反向传播算法训练的主要原因。
7‘研究良好期望:对于给定数目的训练样本,如果缺乏其他先验的知识,人们更期望使用少量的计算单元来建立目标函数的紧表达,以获得更好的泛化能力。
8’潜在能力:深度为k的网络能够表达的函数是用深度为k-1的网络来表达时有时需要的计算单元会呈指数增长。
1.2卷积神经网络的形成和演变
标准的卷积神经网络一般由输入层,(交替的卷积层和池化层,全连接层)和输出层构成。
也就是隐含层细化一下。
1.3卷积神经网络的应用和影响
图像分类和识别,目标定位和检测等大规模数据评测
应用方面:
手写字符识别,图像分类,单目标定位挑战,人脸验证,交通标志识别,视频游戏,视频分类,语音识别,机器翻译,围棋程序。
1.4卷积神经网络的缺陷和视图
视觉方面仍不如人类。
通过可视化技术,展现网络各层直觉的期望性质。
1.5卷积神经网络的GPU实现和cuddn库
cpu训练较慢,采用gpu加速。
cuda,也就是通用计算的并行计算平台和编程模型。以c语言为基础,并对c进行扩展,
在显卡芯片执行程序,提供深度神经网络加速库,完成多个函数层的快速实现。
1.6卷积神经网络的平台和工具
1‘Theano
2'TensorFlow
3'Caffe
4'Caffe2
5'CNTK
6'MXNet
7'Torch
8'Deeplearning4J(DL4J)
9'Keras
1.7本书的内容结构和案例数据
一章概述
二章预备知识
三章LeNet模型
四章AlexNet
五章应变模型
六章加深模型
七章跨连模型
八章区域模型
九章分割模型
十章特殊模型
十一章强化模型
十二章阿尔法狗设计原理和思想,分析MuGo的游戏应用案例