机器学习笔记：SVM

格式驾驭不了，图片大小不会改，可以直接看我的有道笔记：http://note.youdao.com/noteshare?id=6234ba7ee9f074c95dbd373a4d5a9eca

 

• SVM:将向量映射到一个更高维的空间里，在这个空间建立一个最大间隔超平面。

公式推导：

• 分离超平面：

• 分类决策函数

• 函数间隔：对于给定的训练集T和超平面（w,b）,定义超平面(w,b)关于样本点(xi,yi)的函数间隔。表示分类预测的正确性及确信度。

• 几何间隔：成比例改变w\b,并不能改变超平面。对分离超平面的法向量w加某些约束，如规范化，||w||=1,使得间隔是确定的。引入几何间隔。

• 最大间隔超平面：

• 转为最小化函数：

• 需要求的目标函数：

• 目标函数的约束条件可改为：

• 拉格朗日公式（w为拉格朗日算子）：

• 拉格朗日原始问题：

• 目标函数构建拉格朗日函数：

• 对w和b分别求偏导数：

• 求解步骤：

 

 

• KKT条件：

线性不可分（软间隔）

• 函数间隔：

• 约束条件（C>0 惩罚参数）：

• 原始问题：

• ai的约束条件改成：

• 步骤（类似硬间隔）

  

核函数

• 核函数本质是两个函数的內积
• 常用核函数：RBF核径向基、线性核、多项式核
• 条件：存在以下条件①一个空间可以映射到另一个空间②函数K(x,z)满足条件

• 核函数在支持向量机中的应用：

目标函数：

分类决策函数