手推SVM（硬间隔---＞软间隔---＞核技巧）

文章目录

---

前言

听了三遍手推SVM的课程看了好多文章后发现还是要自己推到一边才能深刻理解SVM，以下纯属个人的理解，如果有不对的地方请大家指正^_^

---

一、为什么要分四个层次学习SVM

分层次的SVM推导过程其实很符合我们思考问题的过程，为了解决相应的问题并在原有的方法上不断做出改进，我想这也是一项技术能够不断发展进步的原因吧。

二、具体步骤

1.线性可分支持向量机（硬间隔支持向量机）

所谓硬间隔就是指给定的数据集线性可分，所有的样本点都严格的分布在间隔边界的两侧；

这里函数间隔和几何间隔一定要理解清楚！！！https://www.jianshu.com/p/2e3c0c583e85

2.线性支持向量机（软间隔支持向量机，用于解决线性不可分的情况）

所谓软间隔就是指给定的数据集并不是线性可分的，但为了解决这个问题允许一定量的样本点越过间隔边界；

3.非线性支持向量机（核技巧）

所谓核技巧就是引入了一种技巧将低维空间中线性不可分的数据映射到高维；

比如像下图这样的训练数据集，是完全线性不可分的，因此即使是软间隔也无法解决了，所以需要引入核技巧;

我理解的和函数就是将输入空间的内积操作变为特征空间的内积操作；

4.序列最小最优化算法（SMO，这个后续再做补充，但前三步真的很重要)