SVM艰苦自学之路

机器学习实战（六）——支持向量机

https://blog.****.net/jiaoyangwm/article/details/79579784

斯坦福大学CS224d基础1：线性代数回顾
https://blog.****.net/han_xiaoyang/article/details/51629242

这些球叫做 「data」，把棍子 叫做 「classifier」分类器, 最大间隙trick 叫做「optimization」最优化， 拍桌子叫做「kernelling」, 那张纸叫做「hyperplane」超平面。
当数据为线性可分的时候，也就是可以用一根棍子将两种小球分开的时候，只要将棍子放在让小球距离棍子的距离最大化的位置即可，寻找该最大间隔的过程就叫做最优化。

但是一般的数据是线性不可分的，所以要将其转化到高维空间去，用一张纸将其进行分类，空间转化就是需要核函数，用于切分小球的纸就是超平面。
达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。

SVM概念

通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
在保证决策面方向不变且不会出现错分样本的情况下移动决策面，会在原来的决策面两侧找到两个极限位置（越过该位置就会产生错分现象），如虚线所示。
虚线的位置由决策面的方向和距离原决策面最近的几个样本的位置决定。而这两条平行虚线正中间的分界线就是在保持当前决策面方向不变的前提下的最优决策面。
两条虚线之间的垂直距离就是这个最优决策面对应的分类间隔。显然每一个可能把数据集正确分开的方向都有一个最优决策面（有些方向无论如何移动决策面的位置也不可能将两类样本完全分开），而不同方向的最优决策面的分类间隔通常是不同的，那个具有“最大间隔”的决策面就是SVM要寻找的最优解。
而这个真正的最优解对应的两侧虚线所穿过的样本点，就是SVM中的支持样本点，称为”支持向量”。
学习的目标是在特征空间中找到一个分离超平面，能将实例分到不同的类中。
分离超平面的方程：w⋅x+b=0
方程由法向量w和截距b决定，可以用(w,b)来表示。

超平面方程

二次规划https://blog.****.net/lilong117194/article/details/78204994
SVM（1）：理清分离超平面方程和法向量
https://blog.****.net/Jiajing_Guo/article/details/65628378
在超平面wTx+b=0上方，我们定义为y=1,在超平面wTx+b=0下方的我们定义为y=−1。
分离超平面将特征空间划分为两部分，一部分为正类，一部分为负类；法向量指向的一侧为正类，另一侧为负类。

支持向量机原理(一) 线性支持向量机
https://www.cnblogs.com/pinard/p/6097604.html

机器学习系列(14)_SVM碎碎念part2：SVM中的向量与空间距离
https://blog.****.net/han_xiaoyang/article/details/52679559

函数间隔与几何间隔

1. 辨析

svm 函数间隔与几何间隔的认识https://blog.****.net/maymay_/article/details/80263845
机器学习教程 之 支持向量机：模型篇1—支持向量与间隔
https://blog.****.net/Liangjun_Feng/article/details/78868895

在超平面w⋅x+b=0确定的情况下，|w⋅x+b|可以相对地表示点x距离超平面的远近。对于两类分类问题，如果w⋅x+b>0，则x的类别被判定为1；否则判定为-1。所以如果y(w⋅x+b)>0，则认为x的分类结果是正确的，否则是错误的。且y(w⋅x+b)的值越大，分类结果的确信度越大。反之亦然。

2. 函数间隔（function margin）

3. 几何间隔

最大间隔分离超平面

机器学习系列(15)_SVM碎碎念part3：如何找到最优分离超平面
https://blog.****.net/han_xiaoyang/article/details/52683653