机器学习 -- 支持向量机SVM（Ⅲ Soft Margin和SVM的正则化）
当有一个蓝色点位于如下位置时，变成了一个线性不可分的问题。
Soft Margin SVM
1. 目的
让分类错误的点越少越好，而不是必须将所有点分类正确，也就是允许有noise存在。这种做法很大程度上不会使模型过于复杂，不会造成过拟合，而且分类效果是令人满意的。
2. 宽松约束条件：
，其中
。对每个数据点都有对应的容错空间
。
即允许一些数据点在如下直线与虚线之间（可以犯一定错误）：
则最优化问题变成：
由于前后重要性不是1：1的关系，则可在后式加上系数C平衡两部分所占比例：（C为新的超参数）。
s.t.
3. 上式的L1正则和L2正则：
（1）L1正则：
s.t.
（2）L2正则：
s.t.