支持向量机(SVM)总结

一.线性可分支持向量机

1.定义：给定线性可分的训练集，求解出能够正确划分训练集并且几何间隔最大的分离超平面wx+b=0,对应的决策函数为f(x)=sign(wx+b)
2.函数间隔：

3.几何间隔：

二.目标函数的推出

三.推导过程求解：

四.软间隔与正则化：

为了防止过拟合，对每个样本点引入一个松弛变量，此时为软间隔最大化问题，推导过程如下：

五.非线性支持向量机与核函数：

为什么引入核函数：


常见核函数：

核函数的判定：

六.SMO算法(最大序列化优先)

基本思想：
1.如果所有变量的解都满足此最优化问题的KKT条件，那么这个最优化问题就得到了。
2.每步选择两个变量，固定其他变量，针对这两个变量构建二次规划问题。
3.选择变量的思想：
SMO称选择第一个变量的过程为外层循环，在训练样本在选取违背KKT条件最严重的样本点，将其对应的变量作为第一个变量；第2个变量的选择成为内层循环，选择标准是希望能使第一个变量相对第一个有足够大的变化。
直到所有的变量满足KKT条件为止；

七.SVM用于多分类：

此问题可推广为一般的二分类用于多分类，最经典的方法有三种：

1. 一对一：
   

2.一对多：

分类器的置信程度，选择最大的作为结果。

三.多对多：见机器学习周志华