浙大机器学习课程-3-支持向量机

线性模型问题

对于样本数较少,都能得到较好的结果
20世纪70年代,一个苏联人发明了这个方法
凡是可以用一条直线分开的,我们称为线性可分样本集
浙大机器学习课程-3-支持向量机如何在线性可分样本集上画一条直线(有无数条直线可以分开,那么哪一条直线最好)
浙大机器学习课程-3-支持向量机
2号线对于误差的容忍度更大一点,跟样本分布有关系

浙大机器学习课程-3-支持向量机浙大机器学习课程-3-支持向量机
对于任意一条可以分开○和×的线,定义一个性能指标d

浙大机器学习课程-3-支持向量机

浙大机器学习课程-3-支持向量机
推荐书籍:支持向量机导论

数学描述

d:间隔(margin)
支持向量机是一个最大化间隔的方法
直线移动的过程中切到的点(向量)称为支持向量,最后做出来的线只与支持向量有关(能够用在比较小的样本上)
浙大机器学习课程-3-支持向量机b是一个常数
w转置就是一个行向量,wTx是一个常数(行向量乘以列向量)
wTx+b是一个常数
我们的任务是通过训练数据在这个模型的限定下算出w和b

机器学习算法机器学习所做的模型的情况

1先给出一个限定模型(用方程或复杂的函数,比如wTx+b=0限定了是一个超平面的模型)
2在模型中留出一些待定的参数(例如w和b)
3用训练数据再用算法去确定w和b
确定w和b之后,整个学习过程完成

浙大机器学习课程-3-支持向量机
浙大机器学习课程-3-支持向量机

支持向量机优化问题

浙大机器学习课程-3-支持向量机