机器学习十大算法之一：SVM支持向量机

---

1 SVM思维导图

2 SVM

2.1 SVM概念

        $$SVM：寻找到一个超平面使样本分成两类，并且间隔最大。而我们求得的w就代表着我们需要寻找的超平面的系数(每个特征的权重)。
                                                    $$

2.2 确信度

        $$与超平面的距离表示分类的确信度，距离越远则分类正确的确信度越高：
                                                    $$

确信度的推导 - 超平面间的距离

•                                                   $$
  超平面1：wx1+b1=0$w{x}_1+b_1=0$
  超平面2：wx2+b2=0$w{x}_2+b_2=0$
  向量的运算：x2=x1+tw$x_2=x_1+tw$
  wx2+b2=w(x1+tw)+b2=wx1+t||w||2+b2=−b1+t||w||2+b2=0$w{x}_2+b_2=w(x_1+tw)+b_2=w{x}_1+t||w|{|}^2+b_2=-b_1+t||w|{|}^2+b_2=0$
  可以求出t：t=(b1−b2)/||w||2$t=(b_1-b_2)/||w|{|}^2$
  计算距离：D=||tw||=|t|||w||=(b1−b2)/||w||2∗||w||=(b1−b2)||w||$D=||tw||=|t|||w||=(b_1-b_2)/||w|{|}^2\ast ||w||=\frac{(b_1-b_2)}{||w||}$
  超平面线性方程：wTx+b=0$w^{T}x+b=0$
  样本中任意点到超平面距离：
  
  r=wTx+b||w||$$r=\frac{w^{T}x+b}{||w||}$$
  
  x$x$是样本点，不在超平面上，所以wTx+b$w^{T}x+b$不等于0

2.3 超平面

2.3.1 样本分类

                                                    $$

对每个向量有：

• wT⋅xi+b>=1,xi$w^T·x_i+b>=1,x_i$属于类1
• wT⋅xi+b<=−1,xi$w^T·x_i+b<=-1,x_i$属于类2
• 所以yi(wT⋅xi+b)>=1$y_i(w^T·x_i+b)>=1$

2.3.1 样本的正确分类 - 拉格朗日方法

前面计算的确信度，超平面之间的距离，有如下近似：
最大化2||w||$\frac{2}{||w||}$，等价于最小化12||w||2$\frac{1}{2}||w|{|}^2$

a. 样本的正确分类：

 minw,b12||w||2$mi{n}_{w,b}\frac{1}{2}||w|{|}^2$
s.t.yi(wTxi+b)>=1,i=1,2,3,...,m$s.t.y_i(w^T{x}_i+b)>=1,i=1,2,3,...,m$

b. 样本正确分类(拉格朗日方法)：

f(x)=wTx+b$f(x)=w^{T}x+b$
L(w,b,α)=12||w||2+∑mi=1αi(1−yi(wTxi+b))$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))$

c. 对偶问题：原问题极小极大到对偶而难题的极大极小