《统计学习方法学习》算法学习笔记(一)之感知机
感知机 总述 感知机是 二类分类 的 线性分类模型 ,其 输入 为实例的 特征向量 , 输出 为 实例的类别 ,取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的 分离超平面 ,属于 判别模型 。感知机学习旨在求出将训练数据进行线性化分的分离超平面,为此,导入基于 误分类的损失函数 ,利用 梯度下降法 对损失函数极小化,求得感知机模型。感知机学习算法具有简单而易于实现的优点,分为原始形式和对偶形式。感知机预测是用学到的感知机模型对新的输入实例进行分类。 1.1 感知机模型 定义 :假设输入空间(特征空间) x x x 是 R n \R^n R n ,输出空间是 y y y ={-1, +1},输入 x x x 表示实例的特征向量,对应于输入空间(特征空间)中的点,输出 y y y 表示实例的类别。由输入空间到输出空间的如下函数 f ( x ) = s i g n ( w ∗ x + b ) f(x)=sign(w*x+b) f ( x ) = s i g n ( w ∗ x + b ) 称为感知机 。其中, w w w 和 b b b 称为感知机模型参数, w ∈ R n w∈R^n w ∈ R n 叫权值或权值向量, b ∈ R b∈R b ∈ R 叫作偏置, w ∗ x w*x w ∗ x 表示 w w w 和 b b b 的内积, s i g n