caffe详解之损失函数
【转】Caffe中的损失函数解析
导言
在有监督的机器学习中,需要有标签数据,与此同时,也需要有对应的损失函数(Loss Function
)。
在Caffe
中,目前已经实现了一些损失函数,包括最常见的L2
损失函数,对比损失函数,信息增益损失函数等等。在这里做一个笔记,归纳总结Caffe
中用到的不同的损失函数,以及分析它们各自适合的使用场景。
欧式距离损失函数(Euclidean Loss)
对比损失函数(Contrastive loss)
铰链损失函数(Hinge Loss)
信息增益损失函数(InformationGain Loss)
多项式逻辑损失函数(Multinomial Logistic Loss)
Sigmoid 交叉熵损失函数(Sigmoid Cross Entropy Loss)
Softmax+损失函数(Softmax With Loss)
总结
欧式距离损失函数:一般适用于回归问题,特别是回归的值是实数的时候。
对比损失函数:用来训练siamese
网络时候。Hinge loss
:在一对多的分类中应用,类似于SVM
。
多项式逻辑损失函数:一般在一对多的分类任务中应用,直接把预测的概率分布作为输入。sigmoid
交叉熵损失函数:预测目标概率分布。softmax
+损失函数:在一对多分类中的应用。