线性支持向量机+软间隔最大化（手写笔记）
个人原创笔记，转载请附上链接。本文接上文线性可分支持向量机+硬间隔最大化（手写笔记），推导了软间隔最大化。
- “硬间隔”，就是存在分隔超平面完全将正负样本分开。
- “软间隔”，就是数据样本不是实际的线性可分，而是近似线性可分。
为什么要引入软间隔最大化？
如果数据加入了少数噪声点，而模型为了迁就这几个噪声点改变决策平面，即使让数据仍然线性可分，但是边际会大大缩小，这样模型的准确率虽然提高了，但是泛化误差却升高了，这也是得不偿失的。
凸二次优化问题使用拉格朗日对偶性解决。
我们先写出拉格朗日函数，以及原问题的对偶问题。
第一步：先求极小化
分别对 ，
和
进行求导，并令他们为0。即得到下一步的约束条件，见公式⑥。
第二步：对⑦求极大
接着我们求解公式⑨，得到 ，然后使用
表示
和
。