改善深层神经网络：超参数调试、正则化以及优化 笔记

　　吴恩达 Andrew Ng 的视频教程“改善深层神经网络：超参数调试、正则化以及优化”，主要介绍：

如何有效的运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。

 

　　下面是笔记的索引：

　　第一周： 深度学习的实用层面

　　　　1.1 训练/开发/测试集

　　　　1.2 偏差/方差

　　　　1.3 机器学习基础

　　　　1.4 正则化

　　　　1.5 为什么正则化可以减少过拟合

　　　　1.6 dropout正则化

　　　　1.7 理解dropout

　　　　1.8 其他正则化方法

　　　　1.9 归一化输入

　　　　1.10 梯度消失与梯度爆炸

　　　　1.11 深度网络中的权重初始化

　　　　1.12 梯度的数值逼近

 

 

 

 

 

 

 

未完待续

来源：oschina

链接：https://my.oschina.net/u/4279189/blog/4020954