浙大机器学习课程-3-支持向量机
线性模型问题
对于样本数较少,都能得到较好的结果
20世纪70年代,一个苏联人发明了这个方法
凡是可以用一条直线分开的,我们称为线性可分样本集如何在线性可分样本集上画一条直线(有无数条直线可以分开,那么哪一条直线最好)
2号线对于误差的容忍度更大一点,跟样本分布有关系
对于任意一条可以分开○和×的线,定义一个性能指标d
推荐书籍:支持向量机导论
数学描述
d:间隔(margin)
支持向量机是一个最大化间隔的方法
直线移动的过程中切到的点(向量)称为支持向量,最后做出来的线只与支持向量有关(能够用在比较小的样本上)b是一个常数
w转置就是一个行向量,wTx是一个常数(行向量乘以列向量)
wTx+b是一个常数
我们的任务是通过训练数据在这个模型的限定下算出w和b
机器学习算法机器学习所做的模型的情况
1先给出一个限定模型(用方程或复杂的函数,比如wTx+b=0限定了是一个超平面的模型)
2在模型中留出一些待定的参数(例如w和b)
3用训练数据再用算法去确定w和b
确定w和b之后,整个学习过程完成