反向传播算法简介
<!doctype html> 反向传播算法 */ /*--> */ 反向传播算法简介（BP，Backpropagation algorithm） 原文： http://neuralnetworksanddeeplearning.com/chap2.html BP 算法所关注的是神经网络中损失函数 C (cost function) 与每一个权重 和偏置 的偏导。BP 不仅仅是一个快速的算法，其同时为我们提供了一个视角，让我们观察权值和偏置是如何影响网络输出的。 译者注：本文中所描述的网络以层为单位，如果把层当做图的节点，数据流向作为图的有向边，那么本文所描述的网络所抽象出的图一定是有向无环的。 本文并没有翻译原文所有内容 。 热身：利用矩阵实现网络计算 先介绍一个网络权重的数学标记法： ，这个数学标记表示神经网络中第 层网络的第 个元素和第 层第 个元素之间的权重。同样， 表示第 层第 个元素的偏置值， 表示 层第 个元素的激活函数输出值。利用这种数学表示， 可以表示为： 使用矩阵形式表示上述表达式： 定义 为激活函数的输入值则可以将上面表达式 表示为： 损失函数的两个特点 BP 算法用于计算网络中所有权重 和偏置 关于损失函数 的偏导数 和 。为了使 BP 算法正常运行，损失函数需要满足两个条件。在给出这两个条件前，我们先介绍一种常用的均方差损失函数，如式 所示： 表达式