LR为什么不可以用MSE作为损失函数
原因总结：
- MSE 会有梯度消失现象
- MSE 的导数非凸函数，求解最优解困难
证明：
1. 梯度消失公式证明：
令 ，记为
。
只关注其中单项的公式，并简化可得：
可见， 当 h 趋近于 0 时或者趋近于 1 时，该 Loss 的导数都会趋近为 0，从而造成梯度消失现象。
2. 非凸函数公式证明
关注 其二阶导数，可以得出其二阶导数矩阵即 Hessian 矩阵不是正定矩阵。 该导数是非凸函数，不是凸函数，难以优化。
h(1-h) 在(0,1)内都大于 0， 假设 y=0 时， 则由
决定。
因为 的根为0,
, 即其在 [0,1] 范围内有正有负。 从而得出
有正有负，即为非凸函数。