感知机

感知机是一个二类分类的线性分类模型。所谓二类分类就是它只能将实例分为正类和负类两个类别。那么为什么是线性分类模型呢，我的理解是感知机学习旨在求出可以将数据进行划分的分离超平面，而分离超平面的方程:

为线性方程，所以感知机为线性分类模型。

模型如下图所示：


sign(x)={+1，x≥0

由此我们可以得到由输入空间到输出空间的函数

感知机学习的目的就在于确定参数w和b的值。

给定一个线性可分的数据集：
T={(x1,y1),(x2,y2),...(xN,yN)}$T=\{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\}$

为了确定感知机模型的参数w和b，需要确定一个学习策略，即定义一个损失函数并将损失函数极小化。感知机采用的损失函数为误分类点到超平面的总距离。首先写出输入空间Rn中任一点x0$x_0$到分离超平面的距离:
1‖w‖|wx0+b|$\frac{1}{\Vert w\Vert }|w{x}_0+b|$

这里‖w‖$\Vert w\Vert$是 w$w$ 的L2$L2$范数。

其次对于误分类的数据(xi,yi)$(x_i,y_i)$来说，yi(wxi+b)>0$y_i(w{x}_i+b)>0$
因为当wxi+b>0,yi=1$w{x}_i+b>0,y_i=1$,而当 wxi+b<0,yi=+1$w{x}_i+b<0,y_i=+1$,
因此误分类点x_i到超平面的距离是:
1‖w‖yi(wxi+b)$\frac{1}{\Vert w\Vert }{y}_i(w{x}_i+b)$

这样假设误分类点的集合为M，那么所有误分类点到超平面的总距离为:
1‖w‖∑xi∈Myi(wxi+b)$\frac{1}{\Vert w\Vert }\sum _{x_i\in M}{y}_i(w{x}_i+b)$

不考虑1‖w‖$\frac{1}{\Vert w\Vert }$，就得到感知机学习的损失函数
L(w,b)=∑xi∈Myi(wxi+b)$L(w,b)=\sum _{x_i\in M}{y}_i(w{x}_i+b)$

显然，损失函数L(w,b)$L(w,b)$是非负的。如果没有误分类点，损失函数值为0，而且，误分类点越少，误分类点离超平面越近，损失函数的值越小。 感知机学习的策略是在假设空间中选取使损失函数最小的模型参数w,b$w,b$。

感知机学习算法是误分类驱动的，具体采用随机梯度下降法。首先，任意选取一个超平面w0,b0，然后用梯度下降法不断地极小化损失函数。极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。损失函数L(w,b)$L(w,b)$的梯度为:
wL(w,b)=∑xi∈Myixi${}_{w}L(w,b)={\sum }_{x_i\in M}{y}_i{x}_i$
bL(w,b)=∑xi∈Myi${}_{b}L(w,b)={\sum }_{x_i\in M}{y}_i$
随机选取一个误分类点(xi,yi)$(x_i,y_i)$，对w,b$w,b$进行更新：
w←w+ηyixi$w\leftarrow w+\eta y_i{x}_i$
b←b+ηyi$b\leftarrow b+\eta y_i$

综上所述，得到如下算法(感知机学习算法的原始形式)
输入：训练集T=(x1,y1),(x2,y2),...(xN,yN)$T=(x_1,y_1),(x_2,y_2),...(x_N,y_N)$，其中xi∈X=Rn$x_i\in X=R_n$，yi∈Y=(+1,1)，i=1,2,3,...N$y_i\in Y=(+1,1)，i=1,2,3,...N$；学习率η(0<η≤1)$\eta (0<\eta \le 1)$；
输出：w，b；感知机模型f(x)=sign(wx+b)$f(x)=sign(wx$