支持向量机松弛变量的理解
1，线性可分，即能找到超平面，对于硬间隔支持向量机
2，部分点不可分，总体近似可分，近似线性可分，对应软间隔支持向量机
3，线性不可分，需要用到核函数
软间隔支持向量机要加个松弛变量ξ。
我们都知道，硬间隔满足，yi * ( wi * x + b )≥1，这是函数间隔，是几何间隔的||w|| 倍。
由于一些点出现在两条线的间隔内部，函数间隔的约束条件不满足，所以引入松弛变量ξ，使yi * ( wi * x + b ) + ξ ≥1，即：yi * ( wi * x + b ) ≥1 - ξ。对于这些离群点有对应的松弛变量，其他的点是没有松弛变量ξ的。
再来另外一个解释：
1，函数距离与几何距离
你需要明白两个概念，函数距离（函数间隔）和几何距离（几何间隔），先看个图：平行直线1与2之间的垂直距离d，就是几何距离，也就是我们平常计算的两条平行直线之间的距离。函数间隔，就是图中的d帽（暂时这么称呼）：
它是两条平行直线在某一条轴线（例如x轴）上的距离。在二维平面，它是竖着的，如图中的蓝色线标注，也可以是横着的，图中未画出。
函数距离和几何距离之间有关系，在本例中为：
||w||是矩阵w的模
在本例中，函数距离（d帽）就是直线1减去直线2的距离，是1。把这个数带入函数距离（d帽），然后乘以2，就得到两条虚线间的间隔
看到了吗？这就是当初我们要最大化的那个式子。
还记得那个限制条件吗？
不等式右边的1 ，就是函数距离（d帽）。
也就是硬间隔支持向量机，它的数学模型为：
2，松弛变量是函数间隔
上面的一种情况是，我们找了两条直线，最大化他们的距离。但有时我们找的直线，它们中间有一些散落的点，这些点不满足那个限制条件。如下图所示：
不满足的样本，如图红色标注的4个点。
也就是由于这些特殊的点，限制条件不满足。这真是一只老鼠坏一锅汤！
怎么办呢？就该我们的主角上场了，对，就是松弛变量ξ。
为了方便叙述与理解，我只拿其中的一个点分析，下图中的红色点。
看图：
蓝色的线的长度就是引入的松弛变量ξ（ξ≥0）
由于d帽=1，相应的绿色的线的长度就是1-ξ
此时，红色的点到橙色的线（我们要确定的最终分割线），之间的函数距离为：
对于所有的样本点，都满足：
这就是引入松弛变量后的限制条件。
这就是软间隔支持向量机，它的数学模型为：
其中m是样本个数