背景

在 线性可分支持向量机 的基础上，我们考虑以下图这个情况：

图中有两个超平面红色线和黑色线。红色的超平面使得模型有更好的泛化效果。但是由于蓝色A异常点的存在，使得SVM模型学到的是黑色的超平面，这会影响到模型的预测效果。

更极端的情况是假设在B处有一蓝色的异常点，就会使得数据变成线性不可分。

为了解决这个问题，SVM引入软间隔最大化的方法来解决。

软间隔最大化

回顾线性可分SVM的硬间隔最大化条件
$\begin{aligned}&\min_{w,b}\frac{1}{2}||w||^2\\&s.t.\ \ \ y_i(w\cdot x_i+b)\geq 1, \quad i=1,2,\dots,N \\\end{aligned}$​w,bmin​21​∣∣w∣∣2s.t.   yi​(w⋅xi​+b)≥1,i=1,2,…,N​

线性不可分意味着某些样本点$(x_i,y_i)$(xi​,yi​) 不能满足函数间隔大于等于1得约束条件，软间隔最大化的思想时：允许部分点位于间隔内部，这些点到超平面的距离小于1。如下图所示：

所以，引入一个loss:

$y_i(wx_i+b) \geq 1,\quad loss=0$yi​(wxi​+b)≥1,loss=0

$y_i(wx_i+b) < 1,\quad loss=1-y_i(wx_i+b)$yi​(wxi​+b)<1,loss=1−yi​(wxi​+b)

即：
$loss = max\{0,1-y_i(w^Tx_i+b)\}$loss=max{0,1−yi​(wTxi​+b)}

所以，对每一个样本点$(x_i,y_i)$(xi​,yi​)引入$\xi_i$ξi​, $\xi_i = 1-y_i(w^Tx_i+b), \quad \xi_i \geq 0$ξi​=1−yi​(wTxi​+b),ξi​≥0

说明：

（1）当样本点满足$y_i(wx_i+b) \geq 1$yi​(wxi​+b)≥1时，$\xi_i=0$ξi​=0。

（2）当样本点 $y_i(wx_i+b) <1$yi​(wxi​+b)<1 时,即样本点位于间隔内部， $\xi_i = 1-y_i(w^Tx_i+b)$ξi​=1−yi​(wTxi​+b) 表示样本点到边界$H_1$H1​(或$H_2$H2​)的距离。

这样$\xi_i$ξi​ 就可以起到和loss一样的效果。

所以，在最小化最大距离时，同时也要最小化这个$\xi_i$ξi​ (让位于间隔内部的点尽量的靠近边界)，目标函数由原来的$\frac{1}{2}||w||^2$21​∣∣w∣∣2 变成：
$\frac{1}{2}||w||^2 + C\sum_{i=1}^N\xi_i$21​∣∣w∣∣2+Ci=1∑N​ξi​
这里的$C>0$C>0 称为惩罚系数。C值越大对误分类的惩罚越大，C值越小对误分类的惩罚越小。

因为$\xi_i $ 表示样本点$(x_i,y_i)$(xi​,yi​) 到边界$H_1$H1​(或$H_2$H2​)的距离，所以样本点到超平面的距离就变成了$1-\xi_i$1−ξi​ 。这样约束条件变为：
$y_i(w\cdot x_i+b)\geq 1-\xi_i, \quad i=1,2,\dots,N$yi​(w⋅xi​+b)≥1−ξi​,i=1,2,…,N
所以，线性不可分支持向量机的学习问题变成了如下的凸二次规化问题（原始问题）：
$\begin{aligned}&\min_{w,b}\frac{1}{2}||w||^2 +C\sum_{i=1}^N\xi_i\\&s.t.\ \ \ y_i(w\cdot x_i+b)\geq 1-\xi_i, \quad i=1,2,\dots,N\\ &\qquad \xi_i \geq 0 \end{aligned}$​w,bmin​21​∣∣w∣∣2+Ci=1∑N​ξi​s.t.   yi​(w⋅xi​+b)≥1−ξi​,i=1,2,…,Nξi​≥0​

学习的对偶算法

和线性可分SVM的优化方式类似，首先将软间隔最大化的约束问题用拉格朗日函数转化为无约束问题如下：
$L(w,b,\xi,\alpha,\mu) = \frac{1}{2}||w||^2 +C\sum\limits_{i=1}^{N}\xi_i + \sum\limits_{i=1}^{N}\alpha_i[1 - \xi_i - y_i(w^T x_i +b)] + \sum\limits_{i=1}^{N}\mu_i(-\xi_i)$L(w,b,ξ,α,μ)=21​∣∣w∣∣2+Ci=1∑N​ξi​+i=1∑N​αi​[1−ξi​−yi​(wTxi​+b)]+i=1∑N​μi​(−ξi​)
其中$\alpha_i \geq 0，\mu_i \geq 0$αi​≥0，μi​≥0 均为拉格朗日乘子。于是要优化的目标函数等价为：
$\min\limits_{w,b,\xi} \;\max\limits_{\alpha_i \geq 0, \;\mu_i \geq 0} L(w,b,\alpha, \xi,\mu)$w,b,ξmin​αi​≥0,μi​≥0max​L(w,b,α,ξ,μ)
其对偶问题为：
$\max\limits_{\alpha_i \geq 0, \;\mu_i \geq 0}\;\min\limits_{w,b,\xi} L(w,b,\alpha, \xi,\mu)$αi​≥0,μi​≥0max​w,b,ξmin​L(w,b,α,ξ,μ)
首先是优化函数的$w, b, \xi$w,b,ξ求极小值，对变量求偏导得：
$\frac{\partial L}{\partial w} = 0 \;\Rightarrow w = \sum\limits_{i=1}^{N}\alpha_iy_ix_i$∂w∂L​=0⇒w=i=1∑N​αi​yi​xi​

$\frac{\partial L}{\partial b} = 0 \;\Rightarrow \sum\limits_{i=1}^{N}\alpha_iy_i = 0$∂b∂L​=0⇒i=1∑N​αi​yi​=0

$\frac{\partial L}{\partial \xi_i} = 0 \;\Rightarrow C- \alpha_i - \mu_i = 0$∂ξi​∂L​=0⇒C−αi​−μi​=0

将求导结果代入拉格朗日函数得到：
$\begin{aligned} L(w,b,\xi,\alpha,\mu) & = \frac{1}{2}||w||^2 +C\sum\limits_{i=1}^{N}\xi_i + \sum\limits_{i=1}^{N}\alpha_i[1 - \xi_i - y_i(w^T x_i +b)] + \sum\limits_{i=1}^{N}\mu_i(-\xi_i) 　\\&= \frac{1}{2}||w||^2 - \sum\limits_{i=1}^{N}\alpha_i[y_i(w^Tx_i + b) - 1 + \xi_i] + \sum\limits_{i=1}^{N}\alpha_i\xi_i \\& = \frac{1}{2}||w||^2 - \sum\limits_{i=1}^{N}\alpha_i[y_i(w^Tx_i + b) - 1] \\& = \frac{1}{2}w^Tw-\sum\limits_{i=1}^{N}\alpha_iy_iw^Tx_i - \sum\limits_{i=1}^{N}\alpha_iy_ib + \sum\limits_{i=1}^{N}\alpha_i \\& = \frac{1}{2}w^T\sum\limits_{i=1}^{N}\alpha_iy_ix_i -\sum\limits_{i=1}^{N}\alpha_iy_iw^Tx_i - \sum\limits_{i=1}^{N}\alpha_iy_ib + \sum\limits_{i=1}^{N}\alpha_i \\& = \frac{1}{2}w^T\sum\limits_{i=1}^{N}\alpha_iy_ix_i - w^T\sum\limits_{i=1}^{N}\alpha_iy_ix_i - \sum\limits_{i=1}^{N}\alpha_iy_ib + \sum\limits_{i=1}^{N}\alpha_i \\& = - \frac{1}{2}w^T\sum\limits_{i=1}^{N}\alpha_iy_ix_i - \sum\limits_{i=1}^{N}\alpha_iy_ib + \sum\limits_{i=1}^{N}\alpha_i \\& = - \frac{1}{2}w^T\sum\limits_{i=1}^{N}\alpha_iy_ix_i - b\sum\limits_{i=1}^{N}\alpha_iy_i + \sum\limits_{i=1}^{N}\alpha_i \\& = -\frac{1}{2}(\sum\limits_{i=1}^{N}\alpha_iy_ix_i)^T(\sum\limits_{i=1}^{N}\alpha_iy_ix_i) - b\sum\limits_{i=1}^{N}\alpha_iy_i + \sum\limits_{i=1}^{N}\alpha_i \\& = -\frac{1}{2}\sum\limits_{i=1}^{N}\alpha_iy_ix_i^T\sum\limits_{i=1}^{N}\alpha_iy_ix_i - b\sum\limits_{i=1}^{N}\alpha_iy_i + \sum\limits_{i=1}^{N}\alpha_i \\& = -\frac{1}{2}\sum\limits_{i=1}^{N}\alpha_iy_ix_i^T\sum\limits_{i=1}^{N}\alpha_iy_ix_i + \sum\limits_{i=1}^{N}\alpha_i \\& = -\frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^N\alpha_iy_ix_i^T\alpha_jy_jx_j + \sum\limits_{i=1}^{N}\alpha_i \\& = \sum\limits_{i=1}^{N}\alpha_i - \frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^N \alpha_i\alpha_jy_iy_jx_i^Tx_j \end{aligned}$L(w,b,ξ,α,μ)​=21​∣∣w∣∣2+Ci=1∑N​ξi​+i=1∑N​αi​[1−ξi​−yi​(wTxi​+b)]+i=1∑N​μi​(−ξi​)　=21​∣∣w∣∣2−i=1∑N​αi​[yi​(wTxi​+b)−1+ξi​]+i=1∑N​αi​ξi​=21​∣∣w∣∣2−i=1∑N​αi​[yi​(wTxi​+b)−1]=21​wTw−i=1∑N​αi​yi​wTxi​−i=1∑N​αi​yi​b+i=1∑N​αi​=21​wTi=1∑N​αi​yi​xi​−i=1∑N​αi​yi​wTxi​−i=1∑N​αi​yi​b+i=1∑N​αi​=21​wTi=1∑N​αi​yi​xi​−wTi=1∑N​αi​yi​xi​−i=1∑N​αi​yi​b+i=1∑N​αi​=−21​wTi=1∑N​αi​yi​xi​−i=1∑N​αi​yi​b+i=1∑N​αi​=−21​wTi=1∑N​αi​yi​xi​−bi=1∑N​αi​yi​+i=1∑N​αi​=−21​(i=1∑N​αi​yi​xi​)T(i=1∑N​αi​yi​xi​)−bi=1∑N​αi​yi​+i=1∑N​αi​=−21​i=1∑N​αi​yi​xiT​i=1∑N​αi​yi​xi​−bi=1∑N​αi​yi​+i=1∑N​αi​=−21​i=1∑N​αi​yi​xiT​i=1∑N​αi​yi​xi​+i=1∑N​αi​=−21​i=1∑N​j=1∑N​αi​yi​xiT​αj​yj​xj​+i=1∑N​αi​=i=1∑N​αi​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​xiT​xj​​
所以最后计算结果和线性可分的SVM也一样，唯一不同的只是约束条件。

继续对式子求极大：
$\max \limits_{\alpha} \quad \sum\limits_{i=1}^{N}\alpha_i - \frac{1}{2}\sum\limits_{i=1,j=1}^{N}\alpha_i\alpha_jy_iy_jx_i^Tx_j \\ s.t. \;\; \sum\limits_{i=1}^{N}\alpha_iy_i = 0\\ C- \alpha_i - \mu_i = 0\\ \alpha_i \geq 0 \;(i =1,2,...,m) \\ \mu_i \geq 0 \;(i =1,2,...,m)$αmax​i=1∑N​αi​−21​i=1,j=1∑N​αi​αj​yi​yj​xiT​xj​s.t.i=1∑N​αi​yi​=0C−αi​−μi​=0αi​≥0(i=1,2,...,m)μi​≥0(i=1,2,...,m)
对于$C- \alpha_i - \mu_i = 0 ， \alpha_i \geq 0 ，\mu_i \geq 0$C−αi​−μi​=0，αi​≥0，μi​≥0有：
$\begin{aligned} &C- \alpha_i = \mu_i \ge 0 \\ &\Rightarrow \quad C \ge \alpha_i\\ &\Rightarrow 0 \le \alpha_i \le C \end{aligned}$​C−αi​=μi​≥0⇒C≥αi​⇒0≤αi​≤C​
基于上面的条件$0 \le \alpha_i \le C$0≤αi​≤C，同时将目标函数变号求极小值，得到：
$\max \limits_{\alpha} \quad \sum\limits_{i=1}^{N}\alpha_i - \frac{1}{2}\sum\limits_{i=1,j=1}^{N}\alpha_i\alpha_jy_iy_jx_i^Tx_j \\ s.t. \;\; \sum\limits_{i=1}^{N}\alpha_iy_i = 0\\ 0 \le \alpha_i \le C$αmax​i=1∑N​αi​−21​i=1,j=1∑N​αi​αj​yi​yj​xiT​xj​s.t.i=1∑N​αi​yi​=00≤αi​≤C
上面的式子就是软间隔最大化SVM的优化目标，与硬间隔SVM相比，约束条件中的$0 \le \alpha_i$0≤αi​变为$0 \le \alpha_i \le C$0≤αi​≤C。这样的问题同样可以使用SMO算法求极小值，进而求出w，b。

学习算法

输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\},$T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)},

​ 其中，$x_i\in \mathcal X=\mathbf R^n , y_i\in \mathcal Y\it =\{-1,+1\}, i=1,2,\dots,N; \ \ 0<\eta\leqslant 1$xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N;  0<η⩽1
输出：分离超平面和分类决策函数

（1）选择惩罚参数$C>0$C>0 ，构造并求解凸二次规划问题
$\max \limits_{\alpha} \quad\sum\limits_{i=1}^{N}\alpha_i - \frac{1}{2}\sum\limits_{i=1,j=1}^{N}\alpha_i\alpha_jy_iy_jx_i^Tx_j \\s.t. \;\; \sum\limits_{i=1}^{N}\alpha_iy_i = 0\\0 \le \alpha_i \le C$αmax​i=1∑N​αi​−21​i=1,j=1∑N​αi​αj​yi​yj​xiT​xj​s.t.i=1∑N​αi​yi​=00≤αi​≤C
采用SMO算法求得最优解$\alpha^* = (\alpha_1^*,\alpha_2^*,\ldots\alpha_N^*)^T$α∗=(α1∗​,α2∗​,…αN∗​)T

（2）计算$w^* = \sum_{i=1}^N \alpha_i^*y_ix_i$w∗=∑i=1N​αi∗​yi​xi​

（3）找到所有的S个支持向量$(x_s,y_s)$(xs​,ys​)，计算：
$b^*_s = y_s - (w^*)^Tx_s = y_s -\sum\limits_{i=1}^{m}\alpha_i^{*}y_ix_i^Tx_s$bs∗​=ys​−(w∗)Txs​=ys​−i=1∑m​αi∗​yi​xiT​xs​
最终得到：
$b^{*} = \frac{1}{S}\sum\limits_{i=1}^{S}b_s^{*}$b∗=S1​i=1∑S​bs∗​
(4) 得到划分超平面与决策函数：
$w^{*T}x+b^* = 0 \\ f(x) = sign(w^{*T} x + b^{*})$w∗Tx+b∗=0f(x)=sign(w∗Tx+b∗)

软间隔最大化的支持向量

硬间隔最大化SVM，所有满足$\alpha_{i}^{*}\gt0$αi∗​>0的样本$i$i即为支持向量。对于软间隔最大化的SVM，由于引入了松弛变量$\xi_i$ξi​，支持向量的判断稍微复杂一些。

如下图所示，$\frac{\xi_i}{||w||_2}$∣∣w∣∣2​ξi​​ 表示实例$x_i $到间隔边界的距离。

软间隔支持向量$x_i$xi​分布在间隔边界上和间隔边界内，还可能在分离超平面误分类的一侧，具体说明如下：

(1) 如果 $\alpha_i = 0$αi​=0，那么该样本的约束无效，可能在间隔边界上或者已经被正确分类。如图中所有远离间隔边界的点。

(2) 如果$0 \lt \alpha_i \lt C$0<αi​<C，且$\xi_i = 0 ,\;\; y_i(w^Tx_i + b) - 1 = 0$ξi​=0,yi​(wTxi​+b)−1=0，即点在间隔边界上(蓝框部分)。

(3) 如果 $\alpha_i = C$αi​=C，说明这是一个可能比较异常的点，需要检查此时$\xi_i$ξi​：

• 如果$0 <\xi_i < 1$0<ξi​<1，那么点被正确分类，点位于间隔边界和超平面之间(黄框部分)。

• 如果$\xi_i =1$ξi​=1，那么点在分离超平面上。

• 如果$\xi_i \gt 1$ξi​>1，那么点在超平面的误分类一侧(红框部分)。