梯度消失和梯度爆炸的原因
参考自:Neural Networks and Deep Learning(美)Michael Nielsen 著
梯度消失一般出现在远离输出层的 hide 层 原因:
梯度爆炸:
梯度爆炸和梯度消失称为不稳定梯度,梯度消失普遍存在。
我们可以通过设置合适的w和b来避免上述两种情况, 即 w 和 b 取特定的值,但是要做到, w 和 b 能取的范围比较小
完!有时间继续补充!
参考自:Neural Networks and Deep Learning(美)Michael Nielsen 著
梯度消失一般出现在远离输出层的 hide 层 原因:
梯度爆炸:
梯度爆炸和梯度消失称为不稳定梯度,梯度消失普遍存在。
我们可以通过设置合适的w和b来避免上述两种情况, 即 w 和 b 取特定的值,但是要做到, w 和 b 能取的范围比较小
完!有时间继续补充!