浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)

浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)
上面是w的一种取值情况

当前w的取值刚好把高维x1,x2,x3,x4分成两类,(1.3>0)(-1.-1<0)
浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)
结论:把x移动到高维,更有可能被一个线性的超平面分开,维度越高,被线性分开的概率越大,当维度无穷,线性分开的概率为1

如何选取fai(x)(SVM最有创造力的方面)

①fai(x)选择无限维效果会好一点
浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)
根据这个条件,w也会是无限维(整个的优化将会不可做)
浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)核函数的自变量是两个地位向量x1,x2,值是fai(x1)和fai(x2)的內积,得到的是一个数

常用核函数

高斯核,多项式核,d是多项式阶数(fai的维度与d对应),即定义了一个值,可以拆解成fai(x1)Tfai(x2)
浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)

浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)

优化问题的解决依赖于fai,现在需要解决的问题是用k替代fai,让优化问题变得可解

浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)