神经网络梯度消失或爆炸
神经网络梯度的消失在于多层的求偏导后，值越来越小，导致梯度非常接近于0.
造成这个现象的主要原因在于**函数：
从上图我们可以看到常用**函数Sigmoid, Tanh, 以及Relu 的倒数的取值范围都在 0~1 之间，所以在多层神经网络以后这个梯度会出现消失现象：
比如说 每一层的梯度都是0.8， 在经过 50层以后 0.8**50 = 0.0000143. 所以整个模型的学习进程会非常慢。但是通常来说 Relu**函数在梯度消失问题上明显小于Sigmoid函数。
同理如果**函数的梯度都比1大 那么这个结果将会变得非常大，这个梯度将会出现爆炸现象。
为了解决梯度爆炸问题，最常用的思路是使用梯度裁剪 （Gradient Clipping）
先设定一个梯度可以接受的最大值（阈值），如果超过这个最大值（阈值），我们通过等比缩放这个梯度值来解决。