机器学习：支持向量机SVM-软间隔
上两篇（机器学习：支持向量机SVM简述，机器学习：支持向量机SVM对偶问题）都是讨论的硬间隔，即要求每个样本的都正确分类，但在实践中这个要求可能不太容易实现，所以提出软间隔：允许某些样本不满足约束Yi(w'Xi+b)>=1.
虽然允许某些样本不满足约束，但不满足约束的样本应该尽可能少，于是优化目标可以写成：
其中：
是“0/1损失函数”。但该函数非凸、非连续，数学性质不好，所以出现了一些替代函数，常用的如：hinge损失：
于是，优化目标变为：
引入“松弛变量”ξ，将上式变为：
通过拉个朗日乘子法得到上式的拉格朗日函数：
令L对w,b,ξ的偏导数为0，得：
代入拉格朗日函数得到对偶问题：
这里的KKT条件要求：
参考资料：周志华《机器学习》
相关博文：