机器学习-SVM支持向量机(7)

目录

一.SVM(Support Vector Machine)

二.hard margin表达式

三.soft margin

正则化

四.scikit-learn中的SVM

五.SVM中的使用多项式特征

六.SVM 思想解决回归问题


一.SVM(Support Vector Machine)

 支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面。

找到一个决策边界,样本离决策边界都尽可能远。就是离决策边界最近的点离决策边界尽可能远。这样的决策边界,泛化能力就是好的。

机器学习-SVM支持向量机(7)

SVM要最大化margin

二.hard margin表达式

机器学习-SVM支持向量机(7)

属于1 的一类,点到决策边界的举例大于d

去掉绝对值之后,点到决策边界的距离应该是小于-d

机器学习-SVM支持向量机(7)

机器学习-SVM支持向量机(7)

最终的求解问题为(有条件的最优化问题)

机器学习-SVM支持向量机(7)

三.soft margin

 添加容错空间

机器学习-SVM支持向量机(7)

正则化

机器学习-SVM支持向量机(7)

使用SVM需要数据标准化处理,因为涉及距离,数据维度应该一致。

四.scikit-learn中的SVM

加载数据

机器学习-SVM支持向量机(7)

归一化和SVM

机器学习-SVM支持向量机(7)

c越大,容错空间越小

五.SVM中的使用多项式特征

处理非线性问题

加载数据

机器学习-SVM支持向量机(7)机器学习-SVM支持向量机(7)

归一化、建立多项式特征的SVM

机器学习-SVM支持向量机(7)机器学习-SVM支持向量机(7)

六.SVM 思想解决回归问题

找到一根线拟合数据样本。期待margin范围内数据点越多越好

机器学习-SVM支持向量机(7)

scikit_learn中具体实现

机器学习-SVM支持向量机(7)

机器学习-SVM支持向量机(7)