SVM推导过程及SMO详细求解过程(转载+自己笔记)

转载自:

https://blog.****.net/xuanyuansen/article/details/41078461

下面的tn是标签值

SVM推导过程及SMO详细求解过程(转载+自己笔记)

这里稍微解释下,上面的|wx+b|/w是咋在处理的,

其实就是让t|wx+b|=1,然后让w最小,那么|wx+b|/w就是最大的了

但是显然,w最小的时候,|wx+b|中的w也是最小的,因为w在分子和分母中都是会一起变化的。

所以,这里的|wx+b|=1是人为制造的约束条件,在后面使用拉格朗日的时候会把这个人为制造的条件作为约束条件代入到求w极值的过程中去,下面的an就是我们在高等数学书上常见的lamda

SVM推导过程及SMO详细求解过程(转载+自己笔记)

上下两端绿色的注释不是太合理,这里的话其实是求鞍点的过程

SVM推导过程及SMO详细求解过程(转载+自己笔记)SVM推导过程及SMO详细求解过程(转载+自己笔记)SVM推导过程及SMO详细求解过程(转载+自己笔记)

注意虽然原本是minmaxL(w,b,e,a,u)

但是由于下面先对w求偏导,所以已经把min给解决了。(也就是说已经使用了对偶条件)

所以最后剩下的是max

SVM推导过程及SMO详细求解过程(转载+自己笔记)SVM推导过程及SMO详细求解过程(转载+自己笔记)SVM推导过程及SMO详细求解过程(转载+自己笔记)