Task1 softmax

线性回归, softmax

给定由d个特征描述的示例? = (x1; x2; … ; xd),其中,xi是在第i个特征上的取值,线性模型试图学得一个通过特征的线性组合来进行预测的函数,即
Task1 softmax
损失函数定义为:
可用高斯误差推导出:
Task1 softmax
迭代优化过程采用梯度下降优化。
Task1 softmax

softmax 函数

一般在神经网络中, softmax可以作为分类任务的输出层。一般针对多分类任务,其实可以认为softmax输出的是几个类别选择的概率,比如我有一个分类任务,要分为三个类,softmax函数可以根据它们相对的大小,输出三个类别选取的概率,并且概率和为1。

softmax函数的公式是这种形式:
Task1 softmax
Softmax 函数可以将样本的输出转变成概率密度函数,由于这一很好的特性,我们就可以把它加装在神经网络的最后一层,随着迭代过程的不断深入,它最理想的输出就是样本类别的 One-hot 表示形式。

计算 Softmax 函数的梯度
Task1 softmax
Task1 softmax
Task1 softmax
Task1 softmax
Task1 softmax