《机器学习技法》学习笔记03——核SVM

http://blog.csdn.net/u011239443/article/details/76598872

核技巧

接着上篇博文的问题:

《机器学习技法》学习笔记03——核SVM

我们先假定:

《机器学习技法》学习笔记03——核SVM

则有:

《机器学习技法》学习笔记03——核SVM
于是我们就得到了核函数:

《机器学习技法》学习笔记03——核SVM

那么我们就可以直接用核函数带入到原来的问题中,我们能计算出b:

《机器学习技法》学习笔记03——核SVM

讲核函数代入gSVM=sign(SVindicesnwTzs+b)得:

《机器学习技法》学习笔记03——核SVM

多项式核

我们可以讲Φ2做一些变化,得到更容易的核函数:

《机器学习技法》学习笔记03——核SVM

还可以讲其推广:

《机器学习技法》学习笔记03——核SVM

K1 称为线性核,在选择核函数时,我们优先选择简单的线性核。

高斯核

我们能将x映射到无限高的维度上吗?答案是肯定的,使用高斯核就能做到:

《机器学习技法》学习笔记03——核SVM

高斯核的定义:

《机器学习技法》学习笔记03——核SVM

不同γ取值的例子:

《机器学习技法》学习笔记03——核SVM

因此SVM还是容易产生过拟合,γ取值不能过大

《机器学习技法》学习笔记03——核SVM