深度学习---梯度消失与梯度爆炸问题
深度学习—梯度消失与梯度爆炸问题
梯度消失与梯度爆炸问题来源于网络的反向传播。
以sigmoid**函数为例，其函数图像成一个S型，如下所示，它会将正无穷到负无穷的数映射到0~1之间：
sigmoid**函数的导数f’(x) = f(x)(1-f(x))，取值范围为(0.0.25]
1）梯度消失：反向传播时，根据链式法则，若网络权重|w|小于1，随着网络层数增加，求导时多个小于1的数相乘，使得导数趋近于0，导致较浅层(！注意是较浅层)网络的权重无法更新，这就是梯度消失现象。
2）梯度爆炸：同理，若网络更新前的权重过大，求导时梯度累积产生非常大的梯度，甚至呈指数式增长，这种现象为梯度爆炸。它会导致网络权重大幅更新，使得网络不稳定。极端情况下，权值非常大以至溢出，会出现NaN值。