1. 背景
1.1 以人脑中的神经网络启发，
2. 多层向前神经网络（Multilayer Feed-Forward Neural Network)
2.1 Backpropagation 被使用在多层向前神经网络上
2.2 多层向前神经网络由以下部分组成：
输入层（input layer），隐藏层（hidden layers）：隐藏层可以有一层或多层，输出层（output layers）
2.3 每层有单元（units）组成
2.4 输入层（input layer）是由训练集的实例特征向量传入
2.5 经过连接结点的权重（weight，用wij表示）传入下一层，一层的输出是下一层的输入。 （将输入的数据与权重相乘后得出的结果传入下一层）
2.6 隐藏层的个数可以是任意的，输入层有一层，输出层有一层，输出层有一层。
2.7 每个单元（unit）也可以被称作神经结点，根据生物学来源定义。
2.8 以上称为2层的神经网络（输入层不算）。
2.8 一层中加权的求和，然后根据非线性方程转化输出。
2.9 作为多层向前神经网络，理论上，如果足够多的隐藏层（hidden layers）和足够大的训练集，可以模拟出任何方程。
3. 设计神经网络结构
3.1 使用神经网络训练数据之前，必须确定神经网络的层数，以及每层单元的个数。
3.2 特征向量在被传入输入层时通常被先标准化（normalize）到0和1之间（为了加速学习过程）
3.3 离散型变量被编码成每一个输入单元对应一个特征值可能赋的值
比如：特征值A可能去3个值（a0，a1，a2）。可以使用3个输入单元来代表A。
如果A=a0，那么代表a0的单元值就取1，其他取0；
如果A=a1，那么代表a1的单元值就去1，其他取0，以此类推
3.4 神经网络既可以用来做分类（classification）