12.支持向量机

觉得有用的话,欢迎一起讨论相互学习~Follow Me

参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广

12.3 大间距分类背后的数学原理- Mathematics Behind Large Margin classification

向量内积

1. 假设有两个向量u=[u1u2]$u=\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right]$,向量v=[v1v2]$v=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$，其中向量的内积表示为uTv$u^{T}v$.假设u1$u_1$表示为u在坐标轴横轴上的投影，而u2$u_2$表示为u在坐标轴纵轴上的投影，则向量u的欧几里得长度可表示为∥u∥$\parallel u\parallel$ , 且有∥u∥=u21+u22−−−−−−√$\parallel u\parallel =\sqrt{u_1^2+u_2^2}$
   
2. 对于向量的内积uTv$u^{T}v$ ,可以视为 v向量在u向量上的投影p乘以u向量的长度，这两者都为实数，且当v向量的投影与u向量同方向时，p取正号，否则p取负号 即有式子
   uTv=P∗∥u∥=u1v1+u2v2$$u^{T}v=P\ast \parallel u\parallel =u_1{v}_1+u_2{v}_2$$
   
   

向量内积研究SVM目标函数

* 为了更容易分析问题只保留了损失函数的后半部分而去掉了C及其乘积项。 ，原始损失函数如下图：

* 为简化起见，忽略掉截距，设置损失函数中参数θ0${\theta }_0$为0，设置特征数n=2. ，则简化后的式子可写为:

* 因此可以认为SVM的目的就是最小化向量θ$\theta$ 范数的平方或者说是长度的平方

θTx${\theta }^{T}x$的意义

• 给定参数向量 θ 给定一个样本x， 计算其二者的乘积，这其中的含义是什么？ 对于θTx${\theta }^{T}x$其相当于向量内积uTv$u^{T}v$
  
  
  
  1. 首先，对于训练样本x(i)$x^{(i)}$,其在x轴上的取值为x(i)1$x_1^{(i)}$,其在y轴上的取值为x(i)2$x_2^{(i)}$ ,此时 将其视为始于原点，终点位于训练样本的向量
  2. 然后将参数 θ$\theta$ 也视为向量且其在横轴上的投影为 θ1${\theta }_1$ ,其在纵轴上的投影为 θ2${\theta }_2$
  3. 使用之前的方法，将训练样本投影到参数向量 θ，使用 p(i)$p_{(i)}$来表示第 i 个训练样本在参数向量θ$\theta$上的投影。 即有
     θTx(i)=p(i)∥θ ∥=θ1x(i)1+θ2x(i)2$${\theta }^T{x}^{(i)}=p_{(i)}\parallel \theta \parallel ={\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)}$$
     
     
  4. x(i)$x_{(i)}$代表从原点出发连接到第i个样本点的向量，是可正可负的，分别表示正样本和负样本；p(i)$p^{(i)}$表示样本向量x(i)$x_{(i)}$到参数向量θ$\theta$上的投影，其也是可正可负的，同方向为正负方向为负 ，对于SVM中θTx(i)≥1或者θTx(i)≤−1${\theta }^T{x}^{(i)}\ge 1或者{\theta }^T{x}^{(i)}\le -1$的约束也可以被 p(i)x≥1$p^{(i)}x\ge 1$这个约束所代替

从θTx${\theta }^{T}x$到大间距

• 首先为方便起见设置 θ0=0${\theta }_0=0$ ,且只选取两个特征，即θ1和θ2${\theta }_1和{\theta }_2$ ,则参数θ$\theta$ 可以表示成一条过原点的直线，且 决策界 与θ$\theta$直线垂直。
• 反证法 如下图所示(1)，y轴右边的表示正样本，而y轴左边的表示负样本，蓝线表示参数θ$\theta$，绿线表示决策界 ，很明显这条决策界很不好，因为其与正负样本的间距太小了。 通过将样本投影到θ$\theta$上可以得到p,此时正负样本的||p||都很小，根据SVM的公式||p|| * ||θ$\theta$||>=1,则其必须使||θ$\theta$||很大才能满足条件，这和目标函数希望找到一个小的参数θ$\theta$的目的是矛盾的，这表明这并不是一条好的决策界
• 而图(2)中x在θ$\theta$的投影p就相对的大一些，这样在满足公式||p||∗||θ||>=1$||p||\ast ||\theta ||>=1$需要的||θ$\theta$||就会小一些，这和SVM的优化目标是一致的。所以 好的SVM的优化结果中，决策界的间距一定比较大