Softmax回归

广义线性模型

  符号指数族分布的一般模型就是广义线性模型,由广义线性模型可以推导出线性回归、logistic回归、softmax回归等线性模型,
  链接https://zhuanlan.zhihu.com/p/22876460(说实话没怎么看懂,有兴趣的可以了解一下)


Softmax回归

  logistic回归只能输出0和1,一般来说只能进行二分类问题,但是用one-vs-all的技巧也能进行多分类,softmax算是logistic回归的推广,它能直接处理多分类问题
  softmax函数,或称归一化函数,是逻辑函数的一种推广,它能将一个含任意实数的K维向量压缩到另一个K维实向量中,使得每一个元素范围都在(0,1)之间,并且所有元素的和为1,这样就可以联系到概率上进行多分类问题的求解
  softmax函数:
        Softmax回归
  可以推导出softmax的输出结果y对于它的输入数据z的导数
Softmax回归
  用交叉熵来定义误差函数,其中t是实际概率
Softmax回归
  损失函数对输入数据z的导数推导如下
Softmax回归
这个结果和逻辑回归的交叉熵损失函数的求导结果是一样的