从头理解softmax，笔记
损失函数
指数损失函数（Adaboost）
平方差损失函数：yolo
交叉熵损失函数：softmaxloss
线性分类:y=w0x0+w1x1+…+wnxn=w转置x
**函数sigmoid函数：（作用是为了引入非线性因素，提高非线性分类能力）。
得到Logistics假设函数：，非线性二分类。
对于输入x分类结果为类别1和类别0的概率分别为:
P(y = 1 | x;θ)= hθ(x)
P(y = 0 | x;θ)= 1−hθ(x)
通过极大似然估计推导出损失函数：
Softmax是将logistics回归的二分类问题变为K分类问题，
Softmax每个类别的假设函数组成的总体假设函数：
每一个样本估计其所属的类别的概率（softmax score）为：
极大似然估计推导出损失函数：
使用梯度下降法求出最优的一组参数。
Softmax，在实际应用中，为了使算法实现更简单清楚，往往保留所有参数 ，而不任意地将某一参数设置为 0。但此时我们需要对代价函数做一个改动：加入权重衰减。权重衰减可以解决 softmax 回归的参数冗余所带来的数值问题。
损失函数为：
使用梯度下降法求出最优的一组参数。