机器学习中的几个疑难杂症点(7)----SVM的损失函数
今天我们来讨论一下该如何理解svm的hinge损失函数.
一、svm的损失函数是什么
合页损失函数:
下标”+”表示以下取正值的函数,我们用z表示中括号中的部分:
二、如何理解合页损失函数?
下图为合页损失函数的图像(取自《统计学习方法》):
横轴表示函数间隔,我们从两个方面来理解函数间隔:
1)正负
当样本被正确分类时,y(wx+b)>0;当样本被错误分类时,y(wx+b)<0。
2)大小
y(wx+b)的绝对值代表样本距离决策边界的远近程度。y(wx+b)的绝对值越大,表示样本距离决策边界越远。
因此,我们可以知道:
当y(wx+b)>0时,y(wx+b)的绝对值越大表示决策边界对样本的区分度越好
当y(wx+b)<0时,y(wx+b)的绝对值越大表示决策边界对样本的区分度越差
当样本被正确分类且函数间隔大于1时,合页损失才是0,否则损失是1-y(wx+b)。
相比之下,合页损失函数不仅要正确分类,而且确信度足够高时损失才是0。也就是说,合页损失函数对学习有更高的要求。
参考文档
https://blog.****.net/lz_peter/article/details/79614556
https://blog.****.net/qq_26598445/article/details/80901249