统计学习方法——支持向量机
支持向量机是一种二分类模型，他的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大时它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器，支持向量机的学习策略就是间隔最大化，课形式化为一个求解凸二次规划问题，也等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。
SVM中四个问题：
①SVM思想；间隔最大化。
②核函数：将原空间的数据映射到新空间，然后再新空间里用线性分类学习方法从训练数据中学习分类模型。
③拉格朗日对偶性；将w的计算提前并消除w，使得优化函数变为拉格朗日乘子的单一参数优化问题。
④SMO：序列最小最优化算法，针对对偶问题的计算
一、支持向量机的框架原理
w作用：规范化
二、拉格朗日对偶性原理
2.2 对偶公式的推到
（1）求min L（w,b,a）
将拉格朗日函数L（w,b,a）分别对w，b求偏导数并令其等于0
将上式结果带入L（w,b,a）中，即得
即：
（2）求minL（w,b,a）对a的极大，即是对偶问题——采用SMO算法
三、SVM学习算法
参考：http://www.cnblogs.com/pinard/p/6097604.html
3.1 线性可分SVM
3.2 线性SVM
3.3 非线性SVM
四、SMO算法
暂定