SVM 对偶问题学习笔记
主问题描述
构造拉格朗日函数：
定义 L 的下确界（极小值）为：（ Γ 希腊字母 γ 的大写，读音为/'gæmə/）
inf(L)，这里就是极小值。“下确界”是数学分析中的基本概念，它是在“下界”的基础上定义的。任给一数集 E，我们称E的最大下界为 E 的下确界，记为infE. 显然，E 中每个元素均大于或等于 infE.
主问题和infL最优解的关系
主函数 f(x) 的最优解为 f(x~)，从约束条件来看 inf(L) 的定义公式，h(x) 始终为 0，那么这个函数的值由第二部分的 g(x) 决定，所以当拉格朗日因子 μ 大于 0 时，由于不等式的约束条件，那么 inf(L) 是小于 0 的，那么影响 inf(L) 的就是第一部分 f(x) 的值了，因此在 μ>0 的时候，info(L) 必然是小于 f(x) 的。
上述不等式可知 Γ(λ，μ）是 f(x) 的最小值。
对偶问题和目标函数的最优解的关系推论
SVM 求解过程的推导
第二、三行的等式是 KKT 条件，即求偏导数设置为 0 得到的等式。
接下来对上面这个式子求最优解，此时除了 α 是变量，其他都是样本值，都是已知量。