kkt条件

Inttoduction 上一节我们提到了强对偶，即原问题的最优值与对偶问题的最优值相等。下面我们需要解决怎样找到优化问题的最优解。而KKT条件就是最优解需要满足的条件。 KKT条件 给定一个一般性的优化问题： min ⁡ x f ( x ) s u b j e c t t o h i ( x ) ≤ 0 , i = 1 , . . . , m l i ( x ) = 0 , j = 1 , . . . , r \begin{aligned} \min_{x}\quad &f(x)\\ {\rm subject\ to}\quad &h_i(x)\leq 0,\ i=1,...,m\\ &l_i(x)=0,\ j=1,...,r \end{aligned} x min ​ s u b j e c t t o ​ f ( x ) h i ​ ( x ) ≤ 0 , i = 1 , . . . , m l i ​ ( x ) = 0 , j = 1 , . . . , r ​ KKT条件（Karush-Kuhn-Tucker conditions or KKT conditions）定义为： 稳定性条件： 0 ∈ ∂ x ( f ( x ) + ∑ i = 1 m u i h i ( x ) + ∑ j = 1 r v j l j ( x ) ) 0\in\partial_x(f(x)

接下来准备写支持向量机，然而支持向量机和其他算法相比牵涉较多的数学知识，其中首当其冲的就是标题中的拉格朗日乘子法、KKT条件和对偶问题，所以本篇先作个铺垫。 大部分机器学习算法最后都可归结为最优化问题。对于无约束优化问题： \(\min\limits_\boldsymbol{x} f(\boldsymbol{x})\) (本篇为形式统一，只考虑极小化问题)，一般可直接求导并用梯度下降或牛顿法迭代求得最优值。 对于含有等式约束的优化问题，即： \[ \begin{aligned} {\min_{\boldsymbol{x}}} & \;\;{f(\boldsymbol{x})} \\ {\text { s.t. }} & \;\;{h_{i}(\boldsymbol{x}) = 0}, \quad i=1,2, \ldots, m \end{aligned} \] 由于等式约束 \(h_i(\boldsymbol{x}) = 0\) 的存在，无法直接求导迭代求解。拉格朗日乘子法是解决此类问题的常用方法，其核心思想是将约束优化转化为无约束优化问题，即将有 \(d\) 个变量和 \(m\) 个等式约束条件的最优化问题转换为一个有 \((d + m)\) 个变量的函数求平稳点的问题。 拉格朗日乘子法 下面画图来直观理解拉格朗日乘子法，先看下左图： 黑色虚线为函数 \(f(x)\) 的等值线

1. 最优化理论 (Optimization Theory) 最优化理论是研究函数在给定一组约束条件下的最小值(或者最大值)的数学问题. 一般而言, 一个最优化问题具有如下的基本形式: min.:f(x)min.:f(x) s.t.:gi(x)≤0,i=1,2,…,p,hj(x)=0,k=1,2,…,q,x∈Ω⊂Rns.t.:gi(x)≤0,i=1,2,…,p,hj(x)=0,k=1,2,…,q,x∈Ω⊂Rn 其中. f(x)f(x)为目标函数, gi(x)≤0,i=1,2,…,pgi(x)≤0,i=1,2,…,p 为不等式约束条件, hj(x)=0,k=1,2,…,qhj(x)=0,k=1,2,…,q为等式约束条件. 在很多情况下, 不等式约束条件可以通过引入新的变量而转化为等式约束条件, 因此最优化问题的一般形式可以简化为仅仅包含等式约束条件的形式 min.:f(x)s.t.:g(x)=0min.:f(x)s.t.:g(x)=0 最优化问题可以根据目标函数和约束条件的类型进行分类: 1). 如果目标函数和约束条件都为变量的线性函数, 称该最优化问题为线性规划; 2). 如果目标函数为变量的二次函数, 约束条件为变量的线性函数, 称该最优化问题为二次规划; 3). 如果目标函数或者约束条件为变量的非线性函数, 称该最优化问题为非线性规划. 2. KKT(Karush-Kuhn

KKT条件介绍 最近学习的时候用到了最优化理论，但是我没有多少这方面的理论基础。于是翻了很多大神的博客把容易理解的内容记载到这篇博客中。因此这是篇汇总博客，不算是全部原创，但是基础理论，应该也都差不多吧。因才疏学浅，有纰漏的地方恳请指出。 KKT条件是解决最优化问题的时用到的一种方法。我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值。提到KKT条件一般会附带的提一下拉格朗日乘子。对学过高等数学的人来说比较拉格朗日乘子应该会有些印象。二者均是求解最优化问题的方法，不同之处在于应用的情形不同。 一般情况下，最优化问题会碰到一下三种情况： （1）无约束条件 这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。 （2）等式约束条件 设目标函数为f(x)，约束条件为hk(x)，形如 s.t. 表示subject to ，“受限于”的意思，l表示有l个约束条件。 则解决方法是消元法或者拉格朗日法。消元法比较简单不在赘述，拉格朗日法这里在提一下，因为后面提到的KKT条件是对拉格朗日乘子法的一种泛化。 定义拉格朗日函数F(x)， 其中λk是各个约束条件的待定系数。 然后解变量的偏导方程： 如果有l个约束条件，就应该有l+1个方程。求出的方程组的解就可能是最优化值（高等数学中提到的极值）

引言 ：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识，非科班出身，如有数学专业博友，望多提意见！ 1.原始问题 假设 是定义在 上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题： 称为约束最优化问题的原始问题。 现在如果不考虑约束条件，原始问题就是： 因为假设其连续可微，利用高中的知识，对 求导数，然后令导数为0，就可解出最优解，很easy. 那么，问题来了（呵呵。。。），偏偏有约束条件，好烦啊，要是能想办法把约束条件去掉就好了，bingo! 拉格朗日函数就是干这个的。 引进广义拉格朗日函数（generalized Lagrange function）: 不要怕这个式子，也不要被拉格朗日这个高大上的名字给唬住了，让我们慢慢剖析！这里 ， 是拉格朗日乘子（名字高大上，其实就是上面函数中的参数而已），特别要求 . 现在，如果把 看作是关于 的函数，要求其最大值，即 再次注意 是一个关于 的函数，经过我们优化（不要管什么方法），就是确定 的值使得 取得最大值（此过程中把 看做常量），确定了 的值，就可以得到 的最大值，因为 已经确定，显然最大值 就是只和 有关的函数，定义这个函数为： 其中 下面通过 是否满足约束条件两方面来分析这个函数: 考虑某个 违反了原始的约束，即 或者 ，那么： 　　注意中间的最大化式子就是确定

引言 ： 尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识，非科班出身，如有数学专业博友，望多提意见！ 1.原始问题 假设 是定义在 上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题： 称为约束最优化问题的原始问题。 现在如果不考虑约束条件，原始问题就是： 因为假设其连续可微，利用高中的知识，对 求导数，然后令导数为0，就可解出最优解，很easy. 那么，问题来了（呵呵。。。），偏偏有约束条件，好烦啊，要是能想办法把约束条件去掉就好了，bingo! 拉格朗日函数就是干这个的。 引进广义拉格朗日函数（generalized Lagrange function）: 不要怕这个式子，也不要被拉格朗日这个高大上的名字给唬住了，让我们慢慢剖析！这里 ， 是拉格朗日乘子（名字高大上，其实就是上面函数中的参数而已），特别要求 . 现在，如果把 看作是关于 的函数，要求其最大值，即 再次注意 是一个关于 的函数，经过我们优化（不要管什么方法），就是确定 的值使得 取得最大值（此过程中把 看做常量），确定了 的值，就可以得到 的最大值，因为 已经确定，显然最大值 就是只和 有关的函数，定义这个函数为： 其中 下面通过 是否满足约束条件两方面来分析这个函数: 考虑某个 违反了原始的约束，即 或者 ，那么： 　　注意中间的最大化式子就是确定

支持向量机 （SVM），一个神秘而众知的名字，在其出来就受到了莫大的追捧，号称最优秀的分类算法之一，以其简单的理论构造了复杂的算法，又以其简单的用法实现了复杂的问题，不得不说确实完美。 本系列旨在以基础化的过程，实例化的形式一探SVM的究竟。曾经也只用过集成化的SVM软件包，效果确实好。因为众人皆说原理复杂就对其原理却没怎么研究，最近经过一段时间的研究感觉其原理还是可以理解，这里希望以一个从懵懂到略微熟知的角度记录一下学习的过程。其实网络上讲SVM算法的多不胜数，博客中也有许多大师级博主的文章，写的也很简单明了，可是在看过之后，总是感觉差点什么，当然对于那些基础好的可能一看就懂了，然而对于像我们这些基础薄弱的，一遍下 来也 只能马马虎虎，过一两天后又忘了公式怎么来的了。 比如说在研究SVM之前，你是否听说过拉格朗日乘子法？你是否知道什么是对偶问题？你是否了解它们是怎么解决问题的？这些不知道的话，更别说什么是KKT条件了。话说像拉格朗日乘子法，在大学里面学数学的话，不应该没学过，但是你学会了吗？你知道是干什么的吗？如果那个时候就会了，那你潜质相当高了。作为一个过来人，我将以简单实例化形式记录自己的学习过程，力图帮助新手级学习者少走弯路。 1、 关于拉格朗日乘子法和KKT条件 1）关于拉格朗日乘子法 首先来了解拉格朗日乘子法，为什么需要拉格朗日乘子法呢？记住，有需要拉格朗日乘子法的地方

机器学习-SVM理论 理论知识 SVM是在神经网络模型及CNN出现之前很火的一种分类模型。它有很好的泛化能力。 线性可分支持向量机:当data线性可分时使用 如果两类数据是线性可分的，那么如果垂直n维超平面做一个投影面，则这两类数据一定可以投影到低维空间中且还是可分的。 线性可分SVM中不会出现在分割面上及支撑面和分割面之间的缓冲部分（人造词汇，不是专业名称），最多出现在支撑面上。但是在线性SVM中是可能的。 硬间隔最大化（hard margin maximization) 硬间隔 硬间隔支持向量机 线性支持向量机：当data不是线性的，但是可以在一定错误率下线性分开 软间隔最大化(soft margin maximization) 软间隔 软间隔支持向量机 非线性支持向量机:在线性可分或线性的基础上加上核函数，实现非线性分类的效果 核函数kernel function 对于高斯核函数，c越大，过渡带越窄；γ越大，分割界面的非线性程度越大（当γ倾向于无穷大时，SVM就退化为 注意，我们一般把向量定义为列向量，这里的w和x都是这样的 将一个点带入，如果式子大于0，表示是在法向量的同方向；小于0，表示是在法向量的逆方向。如果这么来看，最严谨的标法应该是把上图中w的方向换一下，即**法向量w永远指向以直线划分的大于0的方向。之后其实没必要对这个太过于纠结

核方法 拉格朗日乘子法 参考：【整理】深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件 参考：拉格朗日乘子法和KKT条件 在求解最优化问题中，拉格朗日乘子法和KKT条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，有不等约束时使用KKT条件。 最优化问题的三种情况：(1)无约束条件 (2) 等式约束条件 (3) 不等式约束条件 等式约束条件 \[\begin{cases}min_x\quad f(x)\\s.t.\quad h(x)=0\end{cases}\] 只有到等高线与目标函数的曲线相切的时候，可能取得最优值 对约束函数 \(h(x)\) 也求梯度 \(\bigtriangledown h(x)\) ，想让目标函数 \(f(x)\) 的等高线和约束函数相切，则他们切点的梯度一定在一条直线上。 也即最优化解的时候 \(\bigtriangledown_x f(x) = \lambda \bigtriangledown_x h(x)\) 求解最优化问题转换为 \[\begin{cases}\bigtriangledown_x f(x) = \lambda \bigtriangledown_x h(x)\\ h(x)=0\end{cases}\] 构造拉格朗日函数：$L(x,\lambda) = f(x)+\lambda h(x) $。 \(

    这篇博文中直观上讲解了拉格朗日乘子法和 KKT 条件，对偶问题等内容。     首先从无约束的优化问题讲起，一般就是要使一个表达式取到最小值： m i n f ( x ) m i n f ( x )     如果问题是 m a x f ( x ) m a x f ( x ) 也可以通过取反转化为求最小值 m i n − f ( x ) m i n − f ( x ) ，这个是一个习惯。对于这类问题在高中就学过怎么做。只要对它的每一个变量求导，然后让偏导为零，解方程组就行了。 极值点示意图     所以在极值点处一定满足 d f ( x ) d x = 0 d f ( x ) d x = 0 （只是必要条件，比如 f ( x ) = x 3 f ( x ) = x 3 在 x = 0 x = 0 处就不是极值点），然后对它进行求解，再代入验证是否真的是极值点就行了。对于有些问题可以直接通过这种方法求出解析解（如最小二乘法）。     但是也有很多问题解不出来或者很难解，所以就需要梯度下降法、牛顿法、坐标下降法之类的数值迭代算法了（感知机 、logistic 回归中用到）。     对于这些迭代算法就像下面这张图一样，我们希望找到其中的最小值。一个比较直观的想法是先找一个起点，然后不断向最低点靠近。就先把一个小球放到一个碗里一样。 迭代算法     一开始要找一个起始点