svm

支持向量机 SVM(Support Vector Machine) 作为一种可训练的机器学习方法 , 依靠小样本学习后的模型参数进行导航星提取 , 可以得到分布均匀且恒星数量大为减少的导航星表 　　基本情况　 Vapnik 等人在多年研究统计学习理论基础上对线性 分类器 提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机 (Support Vector Machine, 简称 SVM) 。支持向量机的提出有很深的理论背景。 支持向量机方法是在近年来提出的一种新方法。 　　 SVM 的主要思想可以概括为两点： (1) 它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为 高维 特征空间使其线性可分，从而 使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能； (2) 它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化 , 并且在整个样本空间的期望风险以某个概率满足一定 上界 。 在学习这种方法时，首先要弄清楚这种方法考虑问题的特点，这就要从线性可分的最简单情况讨论起，在没有弄懂其原理之前，不要急于学习线性不可分等较复杂的情况，支持向量机在设计时，需要用到条件极值问题的求解，因此需用 拉格朗日

8. Support Vector Machines(SVMs) Content 　　　　 8. Support Vector Machines(SVMs) 　　　　　　8.1 Optimization Objection 　　　　　　8.2 Large margin intuition 　　　　　　8.3 Mathematics Behind Large Margin Classification 　　　　　　8.4 Kernels 　　　　　　8.5 Using a SVM 　　　　　　　　8.5.1 Multi-class Classification 　　　　　　　　8.5.2 Logistic Regression vs. SVMs 8.1 Optimization Objection 支持向量机 (Support Vector Machine: SVM)是一种非常有用的监督式机器学习算法。首先回顾一下Logistic回归，根据log()函数以及Sigmoid函数的性质，有： 同时，Logistic回归的代价函数（未正则化）如下： 为得到SVM的代价函数，我们作如下修改： 因此，对比Logistic的优化目标 SVM的优化目标如下： 注1：事实上，上述公式中的Cost0与Cost1函数是一种称为 hinge损失 的 替代损失(surrogate loss)函数

SVM 1. 普通SVM的分类函数可表示为： 其中 ai 为待优化参数，物理意义即为支持向量样本权重， yi 用来表示训练样本属性，正样本或者负样本，为计算内积的核函数， b 为待优化参数。 其优化目标函数为： 其中 ||w|| 用来描述分界面到支持向量的宽度，越大，则分界面宽度越小。 C 用来描述惩罚因子，而 则是用来解决不可分问题而引入的松弛项。 在优化该类问题时，引入拉格朗日算子，该类优化问题变为： 其中待优化参数 ai 在数学意义上即为每个约束条件的拉格朗日系数。 而MKL则可认为是针对SVM的改进版，其分类函数可描述为： 其中， K k （ xi ， x ）表示第 K 个核函数， 则为对应的核函数权重。 其对应的优化函数可以描述为： 在优化该类问题时，会两次引入拉格朗日系数， ai 参数与之前相同，可以理解为样本权重，而 则可理解为核函数的权重，其数学意义即为对每个核函数引入的拉格朗日系数。具体的优化过程就不描述了，不然就成翻译论文啦~，大家感兴趣的可以看后面的参考文档。 通过对比可知，MKL的优化参数多了一层 其物理意义即为在该约束条件下每个核的权重。 Svm的分类函数形似上是类似于一个神经网络，输出由中间若干节点的线性组合构成，而多核学习的分类函数则类似于一个比svm更高一级的神经网络，其输出即为中间一层核函数的输出的线性组合。其示意图如下： 上图中