机器学习——损失函数
机器学习——损失函数
前言:
在开始学习损失函数的时候,可能大家都会觉得是关于数学的会非常晦涩难懂,但是你们要从根源去学习这个概念,**“损失”**函数,以及这个函数和概率之间的关系。
概念:
损失函数是用来估量模型的预测值F(X)与真实值Y的不一致程度
损失函数大致分为两类:
- 分类
- 回归
回归——损失函数
-
均方误差(Mean Square Error,MSE)
在这里插入图片描述
特点:会扩大大于一的误差的权重,缩小小于一的误差的权重,造成离群点对预测干扰较大,但是不容易产生震荡
-
平均绝对误差(Mean Absolute Error,MAE)
特点:离群点对预测造成的干扰比均方误差小,但是容易发生震荡,不利于函数的收敛和模型的学习
-
Huber Loss(上面两种的综合)
分类——损失函数
-
0-1损失
特点:
表达很直观,但是无论误差有多大,对于每个错误的损失值相同,函数不连续不可导,难以使用梯度优化算法
-
交叉熵损失(应用最多的损失函数之一)
-
合页损失
-
指数损失
- softmax损失