机器学习-支持向量机
支持向量机：是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器值，支持向量机的学习策略就是间隔最大化。
支持向量机学习方法包括构建由简至繁的模型：线性可分支持向量机，线性支持向量机及非线性支持向量机。
当训练数据线性可分时，通过硬间隔最大化，学习一个线性分类器，及线性可分支持向量机，又称为硬间隔支持向量机。
当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性分类器，及线性支持向量机，又称为软间隔支持向量机。
当训练数据线性不可分时，通过使用核计巧及软间隔最大化，学习非线性支持向量机。
核函数：表示将输入从输入空间映射到特征空间得到的特征向量之间的內积。通过使用核函数可以学习非线性支持向量机，等价于隐式的在高维的特征空间中学习支持向量机。
函数间隔：|wx+b|能够表示点x距离超平面的距离，wx+b与y的符号是否一致能够表示分类是否正确，所以用量y（wx+b）表示分类正确性及确信度，这就是函数间隔。
定义超平面（w，b）关于训练集T的函数间隔为超平面（w，b）关于T中所有样本点（x，y）的函数间隔的最小值。
几何间隔：除以||w||,以规范间隔。
凸优化问题：约束最优化问题。
仿射函数：最高次数为1的多项式函数。
若训练数据集T线性可分，则可将训练数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一。
在确定分离超平面时只有支持向量起作用，而其他实例点并不起作用。
线性支持向量机：
软间隔：函数间隔加上松弛变量大于等于1.
合页损失（hinge loss function）: 不仅要分类正确，而且置信度足够高时损失才是0.
用线性分类方法求解非线性分类问题分为两步：首先使用一个变换将原空间的数据映射到新空间；然后在新空间里面用线性分类学习方法从训练数据中学习分类模型。
核函数：;
为映射函数。
核计巧的想法是：在学习与预测中只定义核函数k(x,z),而不显式的定义映射函数。通常直接计算核函数比较容易，通过映射函数计算核函数不容易。
- L2正则项，作用是最大化分类间隔，使得分类器拥有更强的泛化能力
- Hinge 损失函数，作用是最小化经验分类错误
- 分类间隔为2/||w||，||w||代表向量的模
- 当参数C越小时，分类间隔越大，分类错误越多，趋于欠学习
- C越大，则正则化项的作用越小，所以可以把C看作调节正则化项的参数。