【weekly-sharing】拉格朗日对偶和线性可分支持向量机
拉格朗日对偶和线性可分支持向量机
总结
- 拉格朗日对偶并没有改变原始问题的最优解
- 拉格朗日对偶将支持向量机问题的不等式约束转为了等式约束
- 在上的线性可分支持向量机问题中，原始问题求解的复杂度与特征维度（w,b）有关，而对偶问题求解的复杂度与样本数量（拉格朗日乘子
α 的维度）有关 - 线性可分支持向量机其实不一定要用拉格朗日对偶的方法来改变其求解算法的复杂度，因为其输入的特征维度一般低于样本数量。但对于非线性的来说，经过升维后样本维度往往会远大于样本数量，这时候通过对偶问题改变求解复杂度将会大大提高效率