svm

损失函数总结(适用算法) 1. 对数损失函数 （朴素贝叶斯，EM，HMM） L(Y , P(Y | X)) = -log P(Y | X) 2. 平方损失函数（最小二乘法） L(y , f(x)) = 〖(y – f(x))〗^2 3. 指数损失函数（AdaBoost） L(y , f(x)) = exp[-yf(x)] 4. 合页损失函数（svm） L(y(wx+b)) = [1-y(wx+b)] + [z] + = z if z>0 else 0 5. 0-1损失函数 L(y , f(x)) = 1 if y ≠f(x) else y=f(x) 6. 交叉熵损失函数 L(y ̂,y)=-(ylog(y ̂ )+(1-y)log⁡(1-y ̂ )) 来源： CSDN 作者： 不会写代码的菜鸡程序猿 链接： https://blog.csdn.net/m0_38022672/article/details/103914839

参考内容： https://blog.csdn.net/weixin_39605679/article/details/81170300 SVM 支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的分类器，SVM还包含核技巧，这使它可以成为非线性的分类器。SVM的学习策略就是间隔最大化。 算法原理 SVM 学习的基本思想就是求解能够正确划分训练数据集并且几何间隔距离最大的超平面。 对于线性可分的数据，超平面（w*x+b=0）有无穷多个，但是几何间隔最大的超平面是唯一的 几何间隔： 对于给定的数据集和超平面，定义超平面关于样本点（Xi,Yi）的几何间隔为 根据点到直线的距离 扩展到超平面距离为： 这个d 就是分类间隔。 ||W|| 表示w的二范数，即求所有元素的平方和，然后开方，比如对于二维平面： 分类器的好坏评定依据就是分类间隔W=2d的大小，W越大，我们认为超平面分类效果越好，现在问题变成了最大化问题 约束条件： 至此我们已经获得了目标函数的数学形式，但是为了求解w的最大值，我们需要解决下面问题： 1： 如何判断超平面将样本点正确分类。 2 ： 我们知道了求距离d的最大值，首先需要找到支持向量上的点，如何从众多的点中 选出支持向量上的点呢？ 上面需要面对的问题就是约束条件，也就是我们优化的变量d的取值范围受到了限制和约束条件。SVM算法通过一些巧妙的技巧

前言 在SVM中有一个求极小值的问题转换过程，转换为一个对偶问题，但是我不太清楚这个问题为什么可以转换，而且还不太清楚为什么这么转换？不太明确转换后有什么优点，写个文章来了解这些内容。 原始问题转换 min ⁡ 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( x i + b ) > = 1 i=1,2...,n \min \quad \frac{1}{2} ||w||^2 \\ s.t. \quad y_i(x_i+b) >=1 \qquad \text{i=1,2...,n} min 2 1 ​ ∣ ∣ w ∣ ∣ 2 s . t . y i ​ ( x i ​ + b ) > = 1 i=1,2...,n 拉格朗日乘子之后的公式为： F ( w , b , a ) = 1 2 ∣ ∣ w ∣ ∣ 2 + ∑ i = 1 n a i [ 1 − y i ( w x i + b ) ] s . t . a i > = 0 F(w,b,a)= \frac{1}{2} ||w||^2+\sum_{i=1}^{n}a_{i}[1-y_i(wx_i+b)] \\ s.t. \quad a_i>=0 F ( w , b , a ) = 2 1 ​ ∣ ∣ w ∣ ∣ 2 + i = 1 ∑ n ​ a i ​ [ 1 − y i ​ ( w x i ​ + b ) ] s . t