动手学PyTorch | (4) Softmax回归
前面介绍的线性回归模型适⽤于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像的类别这样的离散值。对于这样的离散值预测问题，我们可以使⽤诸如softmax回归在内的分类模型。和线性回归不不同，softmax回归的输出单元从⼀一个变成了多个，且引⼊了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经⽹络中的分类模型。
目录
1. 分类问题
我们考虑一个简单的图像分类问题，其输入图像的高和宽均为2像素，且是灰度图。这样每个像素值都可以⽤一个标量表示。我们将图像中的4像素分别记为.假设训练数据集中图像的真实标签为狗、猫或鸡(假设可以⽤4像素表示出这3种动物)，这些标签分别对应离散值
(三分类)。
我们通常使⽤离散的数值来表示类别，例如.如此，一张图像的标签为1、2和 3这3个数值中的一个。虽然我们仍然可以使用回归模型来进行建模，并将预测值就近定点化到1、2和3 这3个离散值之一，但这种连续值到离散值的转化通常会影响到分类质量。因此我们一般使⽤更加适合离散值输出的模型来解决分类问题。
2. Softmax回归模型
softmax回归跟线性回归一样将输⼊特征与权????做线性叠加。与线性回归的⼀个主要不同在于， softmax回归的输出值个数等于标签⾥的类别数。因为⼀共有4种特征和3种输出动物类别，所以权????包含12个标量(带下标的w),偏差包含3个标量(带下标的b)，且对每个输入计算这三个输出：
下图用神经⽹络图描绘了上⾯的计算。softmax回归同线性回归一样，也是一个单层神经⽹络。由于每个输出的计算都要依赖于所有的输⼊
，softmax回归的输出层也是⼀个全连接层。
既然分类问题需要得到离散的预测输出，⼀个简单的办法是将输出值当作预测类别是i的置信度,并将值最大的输出所对应的类作为预测输出,即输出
。例如，如果
分别为0.1，10，0.1，由于
最⼤，那么预测类别为2，其代表猫。
然⽽，直接使⽤输出层的输出有两个问题。⼀⽅面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍.但如果,那么输出值10却⼜表示图像类别为猫的概率很低。另⼀⽅面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。
softmax运算符(softmax operator)解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布:
容易看出,因此
是一个合法的概率分布。这时候， 如果
,不管
的值是多少，我们都知道图像类别为猫的概率是80%。此外，我们注意到:
因此softmax运算不改变预测类别输出。
3. 单样本分类的矢量计算表达式
为了提高计算效率，我们可以将单样本分类通过⽮量计算来表达。在上⾯的图像分类问题中，假设softmax回归的权????和偏差参数分别为：
设⾼和宽分别为2个像素的图像样本的特征为：
输出层的输出为：
预测为狗、猫或鸡的概率分布为：
softmax回归对样本分类的⽮量计算表达式为：
4. 小批量样本分类的矢量计算表达式
为了进一步提升计算效率，我们通常对⼩批量数据做⽮量计算。⼴义上讲，给定一个⼩批量样本，其批量⼤小为n，输入个数(特征数)为d ，输出个数(类别数)为q。设批量特征为.假设 softmax回归的权????和偏差参数分别为
.softmax回归的⽮量计算表达式为:
其中的加法运算使⽤了⼴播机制,且这两个矩阵的第i行分别为样本i的输出
和概率分布
.
5. 交叉熵损失函数
前⾯提到，使⽤softmax运算后可以更⽅便地与离散标签计算误差。我们已经知道，softmax运算将输出变换成⼀个合法的类别预测分布。实际上，真实标签也可以用类别分布表达:对于样本i ，我们构造 向量（hardmax one-hot），使
中样本i类别的离散数值对应的分量/位置为1，其余为0.这样我们的训练⽬标可以设为使预测概率分布
尽可能接近真实的标签概率分布
.
我们可以像线性回归那样使用平⽅损失函数.然⽽，想要预测分类结果正确，我们其实并不需要预测概率完全等于标签概率。例如，在图像分类的例子里，如果
=3,那么我们只需要
比其他两个预测值
大就行了。即使
=0.6,不管其他两个预测值为多少，类别预测均正确。⽽平⽅损失则过于严格，例如
比
的损失要⼩小很多，虽然两者都有同样正确的分类预测结果。
改善上述问题的⼀个⽅法是使⽤更适合衡量两个概率分布差异的测量函数.其中，交叉熵(cross entropy)是一个常用的衡量⽅法:
其中带下标的是向量
中非0即1的元素，需要注意将它与样本类别的离散数值，即不带下标的
（标量）的区别。在上式中，我们知道向量
中只有第
（标量）个元素
为1，其余全为0，于是
.也就是说，交叉熵只关⼼心对正确类别的预测概率，因为只要其值⾜够大， 就可以确保分类结果正确。当然，遇到一个样本有多个标签时，例如图像里含有不止一个物体时，我们并不能做这一步简化。但即便对于这种情况，交叉熵同样只关⼼对图像中出现的物体类别的预测概率。
假设训练数据集的样本数为n ，交叉熵损失函数定义为:
其中代表模型参数。同样地，如果每个样本只有一个标签，那么交叉熵损失可以简写成：
从另⼀个角度来看，我们知道最小化等价于最大化:
即最⼩化交叉熵损失函数等价于最⼤化训练数据集所有标签类别的联合预测概率。
6. 模型预测与评价
在训练好softmax回归模型后，给定任一样本特征，就可以预测每个输出类别的概率。通常，我们把预测概率最⼤的类别作为输出类别。如果它与真实类别(标签)⼀致，说明这次预测是正确的。在之后的试验中，我们将使用准确率(accuracy)来评价模型的表现。它等于正确预测数量与总预测数量之比。
- 小结
1）softmax回归适⽤于分类问题。它使用softmax运算输出类别的概率分布。
2）softmax回归是一个单层神经⽹网络，输出个数等于分类问题中的类别个数。
3）交叉熵适合衡量两个概率分布的差异。