svm

一.理论方法介绍 SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，可以用来进行分类研究。 SVM二分类 SVM二分类的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类，有三种情况： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机； 当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机； 当训练数据线性不可分时，通过引入核函数技巧及软间隔最大化，学习非线性支持向量机。 svm多分类 svm本身是一个追求类别超平面间支持向量距离最大化的二分类器，本实验的目标是对于三种不同类型文本构造分类器，属于多分类问题。主要是通过组合多个二分类器来实现多分类器的构造，多分类通常有一对多，一对一，多对多等。实验中采取的是one-versus-rest一对多方法，简称OVR SVMs。训练步骤如下： 首先A类对应的向量作为正样本，B,C对应的样本作为负样本 B对应的向量作为正样本，A,C对应的向量作为负样本 C对应的向量作为正样本，A,B对应的向量作为负样本 这3个训练集分别进行训练，得到四个训练结果文件 测试时，把对应的测试向量分别利用这三个结果进行文件测试 得到三个分类结果：y1(x),y2(x),y3(x)

样本(\(x_{i}\),\(y_{i}\))个数为\(m\): \[\{x_{1},x_{2},x_{3}...x_{m}\}\] \[\{y_{1},y_{2},y_{3}...y_{m}\}\] 其中\(x_{i}\)为\(n\)维向量： \[x_{i}=\{x_{i1},x_{i2},x_{i3}...x_{in}\}\] 其中\(y_i\)为类别标签： \[y_{i}\in\{-1,1\}\] 其中\(w\)为\(n\)维向量： \[w=\{w_{1},w_{2},w_{3}...w_{n}\}\] 函数间隔\(r_{fi}\): \[ r_{fi}=y_i(wx_i+b) \] 几何间隔\(r_{di}\): \[ r_{di}=\frac{r_{fi}}{\left \| w \right \|} =\frac{y_i(wx_i+b)}{\left \| w \right \|} \] 最小函数间隔\(r_{fmin}\): \[ r_{fmin}=\underset{i}{min}\{y_i(wx_i+b)\} \] 最小几何间隔\(r_{dmin}\): \[ r_{dmin}=\frac{r_{fmin}}{\left \| w \right \|} =\frac{1}{\left \| w \right \|}*\underset{i}{min}\{y_i

一个比较好的学习资源： http://www.aibbt.com/a/21005.html 看完了优达学城的机器学习基础的课程，发现没有讲解具体怎么实现学习曲线和复杂度曲线的，这里还是需要自己去网上查一下。 http://www.aibbt.com/a/21443.html 原来C参数是这样来的！松弛变量。 虽然我们不想深挖SVM背后的数学概念，但还是有必要简短介绍一下松弛变量(slack variable) ,它是由Vladimir Vapnik在1995年引入的，借此提出了软间隔分类(soft-margin)。引入松弛变量的动机是原来的线性限制条件在面对非线性可分数据时需要松弛，这样才能保证算法收敛。 松弛变量值为正，添加到线性限制条件即可: 新的目标函数变成了: 使用变量C，我们可以控制错分类的惩罚量。和逻辑斯蒂回归不同，这里C越大，对于错分类的惩罚越大。可以通过C控制间隔的宽度，在bias-variance之间找到某种平衡： 哇，这个资源太好了！很具体哦 注意看右上角子图到右下角子图的转变，高维空间中的线性决策界实际上是低维空间的非线性决策界，这个非线性决策界是线性分类器找不到的，而核方法找到了： 使用核技巧在高维空间找到可分超平面 使用SVM解决非线性问题，我们通过映射函数 将训练集映射到高维特征空间，然后训练一个线性SVM模型在新特征空间将数据分类。然后