机器学习中常用的核函数

在机器学习中常用的核函数,一般有这么几类,也就是LibSVM中自带的这几类:
1) 线性:机器学习中常用的核函数
2) 多项式:机器学习中常用的核函数
3) Radial basis function:机器学习中常用的核函数
4) Sigmoid:机器学习中常用的核函数

举例:有一个一维的数据分布是如下图的样子,用一个直线来分开,发现不论画在哪,比如绿色竖线,都不可能把两个类分开。

机器学习中常用的核函数

使用一个简单的升维的方法,把原来一维的空间投射到二维中,x->(x, x^2)。
0->(0,0) 
1->(1,1)
2->(2,4)

 

机器学习中常用的核函数


举例2 多项式核函数中机器学习中常用的核函数的情况。

下面这张图位于第一、二象限内。我们关注红色的门,以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据,紫色字母上的点看成是“-”数据,它们的横、纵坐标是两个特征。显然,在这个二维空间内,“+”“-”两类数据不是线性可分的。

机器学习中常用的核函数

 

我们现在考虑核函数机器学习中常用的核函数,即“内积平方”。
这里面机器学习中常用的核函数是二维空间中的两个点。

这个核函数对应着一个二维空间到三维空间的映射,它的表达式是:
机器学习中常用的核函数
可以验证,
机器学习中常用的核函数

在P这个映射下,原来二维空间中的图在三维空间中的像是这个样子:

机器学习中常用的核函数

(前后轴为x轴,左右轴为y轴,上下轴为z轴)

注意到绿色的平面可以完美地分割红色和紫色,也就是说,两类数据在三维空间中变成线性可分的了。

参考链接:https://www.zhihu.com/question/24627666