支持向量机SVM详解----最优化问题
最优化问题
拉格朗日乘子法
如图，左边的等值线即为f(x)–待优化函数，h(x)是我们的约束条件，因此最优解必然在f(x)和h(x)相交的情况下，所以取极值点一定是两函数相切的位置，在两者相切的时候梯度应该是共线的，对在极值点状态的函数做积分即可得到拉格朗日函数。k=1:l，有k 个约束条件，对其求和。拉格朗日函数对x求偏导后为0的情况即为最优解。自此，我们把有约束问题转化为无约束问题。
KKT算法
如果包含等式和不等式两种约束，也可以转换成无约束的优化问题。将不等式条件加入拉格朗日函数中
KKT条件决定，KKT乘子大于0，而
满足最优解条件，g(x)<=0是本身的约束条件。f(x),g(x)是凸函数， 因为在SVM中构建的函数就是一个凸函数。
对偶问题
广义的拉格朗日函数，包含等式约束和不等式约束。先最大化再最小化的过程和最小化f(x)是等价的。
求出一个w使拉格朗日函数最小，然后找到α和В使得拉格朗日函数去最大值，这个过程就是对偶优化问题。一般情况下min(max)>max(min),θ是谁的函数就是针对对方的优化,。
证明min(max)>max(min)过程：