1、输出与输入的关系(感知基):
这个模型由生活中而来,是输入表示各种情况,表示各种情况的影响权重,得到整体的影响,是门限(偏移)当影响y>0就做出1决策,否则就做出0决策。
2、为什么要使用(sigmoid neuron):
是一个不连续的函数,可能微小的改变,会导致y的翻转性的变化。使用sigmoid neuron,使y与w和b是连续关系(微小的,y也是微小的变化),且输出的值在0~1之间,所以选择
3、误差函数
输出与输入的关系最好为如下,看起来很复杂的样子。
误差函数为:
很多时候会使用一个平均误差函数,为什么我还不懂。
梯度下降法就是从导数方向调整w和b,使误差函数(代价函数)的值最小。(统计值最小,所以要求一个平均误差),其中权重和偏移b的导数如下
看起来很复杂,反向传播的方式计算起来就没那么复杂了。
导数的反方向是降低误差函数c的最快的方向,给定一个学习率,每次学习调整
最终使c达到最小。