问题引入
大家可能在SVM中已经发现了它不需要加任何的正则就进行模型的训练,那为什么他不需要呢？大家在书上看到也没有基本怎么说正则。主要还是它建模的时候是对结构化风险建模的，这点相比于其它的一些算法只对经验风险最小化建模来说是有优势的。这里不提正则，只考虑简单的模型。加了正则之后肯定模型都会有减少过拟合，增强泛化能力的表现了。
问题解答
在李航博士的书中有介绍过这个东东，对于SVM的original问题的表达形式如下：
其实，上面的这三个小等式可以由下面的一个式子来表示，那这个式子是什么呢，应该猜到就是把（2）（3）合并到（1）中，这个式子是
尾部的+号表示的意思是这个是一个合页损失函数，如下所示
可以从公式4中看到，这就是一个加了正则化的合页损失函数的形式
笔者这里简化了一下东西，具体可以参考李航博士的《统计学习方法》
参考
[1]李航《统计学习方法》P114
[2] https://www.zhihu.com/question/20178589
[3] https://blog.csdn.net/viewcode/article/details/12840405
欢迎关注我的公众号，第一时间追踪相关面试题和总结：百面机器学习。
回复干货获取相关资料和面试题总结(定期更新)。
来源：oschina
链接：https://my.oschina.net/u/4404772/blog/4283140