SVM支持向量机
一个比较好的学习资源: http://www.aibbt.com/a/21005.html 看完了优达学城的机器学习基础的课程,发现没有讲解具体怎么实现学习曲线和复杂度曲线的,这里还是需要自己去网上查一下。 http://www.aibbt.com/a/21443.html 原来C参数是这样来的!松弛变量。 虽然我们不想深挖SVM背后的数学概念,但还是有必要简短介绍一下松弛变量(slack variable) ,它是由Vladimir Vapnik在1995年引入的,借此提出了软间隔分类(soft-margin)。引入松弛变量的动机是原来的线性限制条件在面对非线性可分数据时需要松弛,这样才能保证算法收敛。 松弛变量值为正,添加到线性限制条件即可: 新的目标函数变成了: 使用变量C,我们可以控制错分类的惩罚量。和逻辑斯蒂回归不同,这里C越大,对于错分类的惩罚越大。可以通过C控制间隔的宽度,在bias-variance之间找到某种平衡: 哇,这个资源太好了!很具体哦 注意看右上角子图到右下角子图的转变,高维空间中的线性决策界实际上是低维空间的非线性决策界,这个非线性决策界是线性分类器找不到的,而核方法找到了: 使用核技巧在高维空间找到可分超平面 使用SVM解决非线性问题,我们通过映射函数 将训练集映射到高维特征空间,然后训练一个线性SVM模型在新特征空间将数据分类。然后