SVM和感知机的区别（转载+自己笔记）

感知机和SVM的区别：
1、相同点
都是属于监督学习的一种分类器（决策函数）。
2、不同点

感知机追求最大程度正确划分，最小化错误，效果类似紫线，很容易造成过拟合。支持向量机追求大致正确分类的同时，一定程度上避免过拟合，效果类似下图中的黑线。

感知机使用的学习策略是梯度下降法，感知机的目标是：
$min_{w，b}L(w,b)=-\sum_{x_i∈M}·y_i·(w·x_i+b)$minw，b​L(w,b)=−∑xi​∈M​⋅yi​⋅(w⋅xi​+b)
所谓的梯度下降就是让下面两个式子的绝对值的数值不断降低，降低为接近0为止，其实就是在模仿求导的效果，因为下面两个式子接近0的时候，也就是求导为0的时候。
$\triangledown_w(w,b)=-\sum_{x_i∈M}y_i·x_i$▽w​(w,b)=−∑xi​∈M​yi​⋅xi​
$\triangledown_b(w,b)=-\sum_{x_i∈M}y_i$▽b​(w,b)=−∑xi​∈M​yi​
而SVM采用的是由不等式约束条件构造拉格朗日函数，然后求偏导令其为0，根据一大堆的ai参数（一直迭代到满足kkt
条件为止，kkt条件是用来满足不等式约束下的拉格朗日乘子法的泛化），来最终求得w和b。

这里特别说明下一般我们的拉格朗日函数是符合凸函数的，因此对于凸函数一定存在极值点，也是唯一的最优解。而一般的非凸函数，只好采用梯度下降法一步一步的求得极值点，如果非凸函数还是采用求导令为0，可能找不到极值点！因为鞍点也是导数为0，但却不是极值点的特例，如y = x^3函数。导数为0是函数极值点的必要条件。

本文来自 老司机的诗和远方 的**** 博客 ，全文地址请点击：https://blog.****.net/touch_dream/article/details/63748923?utm_source=copy