李宏毅机器学习-4

1、LR损失函数和梯度下降

一般线性函数的损失函数是平方损失函数，LR求最大似然估计是因为sigmoid函数求导后无法保证是凸函数，在优化的过程中可能得到的是局部最小值，而非全局最优。取对数是方便求导。

损失函数除以m这一因子并不改变最终求导极值结果，通过除以m可以得到平均损失值，避免样本数量对于损失值的影响。

2、Softmax原理

顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a，b。如果a>b，则max为a，反之为b。
另一个单词是soft。max存在的一个问题是什么呢？如果将max看成一个分类问题，就是非黑即白，最后的输出是一个确定的变量。更多的时候，我们希望输出的是取到某个分类的概率，或者说我们希望分值大的那一项被经常取到，而分值较小的那一项也有一定的概率被取到，所以我们就应用到了soft的概念，即最后的输出是每个分类被取到的概率。下面的图就很容易理解Softmax原理：

假设有一个数组V，Vi表示V中的第i个元素，那么这个元素的softmax值为:
该元素的softmax值，就是该元素的指数与所有元素指数和的比值。

3、Softmax损失函数和梯度下降

softmax损失函数用的是交叉熵函数，主要是由于这个求导结果比较简单，易于计算，并且交叉熵解决某些损失函数学习缓慢的问题