softmax回归与交叉熵损失函数
交叉熵损失函数
在《动手学深度学习》 softmax回归 一节中，交叉熵损失函数比较晦涩，学习csdn上其他博客后有了一定了解，做此记录
softmax回归
softmax回归同线性回归一样，也是一个单层神经网络，但和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。
由于每个输出的计算都依赖于所有的输入，所以softmax回归的输出层也是一个全连接层。
交叉熵损失函数
引入交叉熵损失函数意义如下：
为什么交叉熵损失函数最小值可以作为分类预测概率最大值：
此处用到了信息熵、相对熵的概念，参考以下文章
交叉熵损失函数原理详解
交叉熵损失函数与softmax回归
在分类问题中，softmax将输出的结果进行处理，使其多个分类的预测概率值和为1，输出类别的概率分布，再通过交叉熵来计算损失，所以两者经常一起使用。
参考
https://blog.csdn.net/b1055077005/article/details/100152102