浙大机器学习课程-6-支持向量机(SVM处理非线性可分2,低维到高维映射2)
上面是w的一种取值情况
当前w的取值刚好把高维x1,x2,x3,x4分成两类,(1.3>0)(-1.-1<0)
结论:把x移动到高维,更有可能被一个线性的超平面分开,维度越高,被线性分开的概率越大,当维度无穷,线性分开的概率为1
如何选取fai(x)(SVM最有创造力的方面)
①fai(x)选择无限维效果会好一点
根据这个条件,w也会是无限维(整个的优化将会不可做)核函数的自变量是两个地位向量x1,x2,值是fai(x1)和fai(x2)的內积,得到的是一个数
常用核函数
高斯核,多项式核,d是多项式阶数(fai的维度与d对应),即定义了一个值,可以拆解成fai(x1)Tfai(x2)
优化问题的解决依赖于fai,现在需要解决的问题是用k替代fai,让优化问题变得可解