softmax回归与交叉熵损失函数
交叉熵损失函数
在《动手学深度学习》 softmax回归 一节中,交叉熵损失函数比较晦涩,学习csdn上其他博客后有了一定了解,做此记录
softmax回归
softmax回归同线性回归一样,也是一个单层神经网络,但和线性回归不同,softmax回归的输出单元从一个变成了多个,且引入了softmax运算使输出更适合离散值的预测和训练。
由于每个输出的计算都依赖于所有的输入,所以softmax回归的输出层也是一个全连接层。
交叉熵损失函数
引入交叉熵损失函数意义如下:
为什么交叉熵损失函数最小值可以作为分类预测概率最大值:
此处用到了信息熵、相对熵的概念,参考以下文章
交叉熵损失函数原理详解
交叉熵损失函数与softmax回归
在分类问题中,softmax将输出的结果进行处理,使其多个分类的预测概率值和为1,输出类别的概率分布,再通过交叉熵来计算损失,所以两者经常一起使用。
参考
https://blog.csdn.net/b1055077005/article/details/100152102