机器学习【四】支持向量机

要解决的问题：找一个决策边界，决策边界就是离边界上的点最远的平面。

一. 点到直线的距离：

 

假设平面为  ,x'为平面的点，则Wt*x'=-b

W为法向量，x到平面的距离：  

不理解可以看下这个博客：http://www.cnblogs.com/graphics/archive/2010/07/10/1774809.html

二. 数据标签定义

数据集为(x1,y1)(x2,y2)...(xn,yn)

y为样本类别：当X为正例，Y=+1,当X为负例，Y=-1。X为这个数据(x1,y1)

决策方程：y(x)=

=》y(xi)>0  《=》yi=+1    =》 yi*y(xi)>0

      y(xi)<0  《=》yi=-1

三. 开始正式SVM：

优化目标：找一条线(w和b)，使得边界上的点（离该线最近的点）能够最远。

将点到直线的距离化简：

因为yi*y(xi)>0

则优化目标为： 

其中min部分为寻找到决策面最近的点，max部分使该点到决策面的距离最远。

我们可以采用放缩变换使得，则优化目标函数就变为

（1）SVM目标函数就为:

一般套路：将求极大值转换为求极小值 ,用拉格朗日乘子法求解，

假设

  如果fi(x) > 0,则thetap(x)->正无穷，如果hi(x)不等于0，则可有baita使得thetap(x)->正无穷，

如果满足约束条件，则thetap(x)=f(x),所以转换为求极小化问题与原来约束式子等价。

根据对偶性：

（2）SVM求解：

这里将a1等于0带入目标函数

b的求法是对偶性原理的问题 可参考李航统计学习P109

支持向量:发挥作用的数据点，

四.  soft-margin

软间隔：有了噪音点 放松一下条件

五. 核函数

低纬不可分映射到高维去划分。

还是在低纬计算，名义上映射到高维去