理解BPTT及RNN的梯度消失与梯度爆炸

前言

上篇文章RNN详解已经介绍了RNN的结构和前向传播的计算公式，这篇文章讲一下RNN的反向传播算法BPTT，及RNN梯度消失和梯度爆炸的原因。

BPTT

RNN的反向传播，也称为基于时间的反向传播算法BPTT(back propagation through time)。对所有参数求损失函数的偏导，并不断调整这些参数使得损失函数变得尽可能小。

先贴出RNN的结构图以供观赏，下面讲的都是图中的单层单向RNN：

图片来自：Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs

反向传播做的是：算出参数梯度并更新参数。参数梯度=损失函数对参数的偏导数$\frac{\partial L}{\partial w}$∂w∂L​，参数更新公式已知：$w=w-\alpha \frac{\partial L}{\partial w}$w=w−α∂w∂L​，$\alpha$α是学习率。所以我们只需要求出$\frac{\partial L}{\partial w}$∂w∂L​就可以了。

分两部分：1.定义损失函数 $L$L，2.再求出损失函数对参数的偏导数 $\frac{\partial L}{\partial w}$∂w∂L​ ，下面开始啦，以参数 $w$w 为例：

1.定义损失函数：

假设时刻 $t$t 的损失函数为：$L_t=\frac{1}{2}(Y_3-O_3)^2$Lt​=21​(Y3​−O3​)2

损失函数是均方差也好交叉熵也好都无所谓，这里只是举个例子，假定它是均方差。

因为有多个时刻，所以总损失函数为所有时刻的损失函数之和：
$L = \sum_{t=0}^{T}L_t \ \ \ \ \ \ \ \ \ \ \ \ \ \ (1)$L=t=0∑T​Lt​              (1)

第一步完成，损失函数get！

2.求损失函数对参数的偏导数：

$w$w在每一时刻都出现了，所以 $w$w 在时刻 $t$t 的梯度=时刻 $t$t 的损失函数对所有时刻的 $w$w 的梯度和：
$\frac{\partial L_t}{\partial w}=\sum_{s=0}^{T}\frac{\partial L_t}{\partial w_s}\ \ \ \ \ (2)$∂w∂Lt​​=s=0∑T​∂ws​∂Lt​​     (2)

将(2)代入(1)可得下面的结果，$w$w 的总梯度 $\frac{\partial L}{\partial w}$∂w∂L​等于$w$w在所有时刻的梯度和：
$\begin{aligned} \frac{\partial L}{\partial w} &=\sum_{t=0}^{T}\frac{\partial L_t}{\partial w}\\ &=\sum_{t=0}^{T}\sum_{s=0}^{T}\frac{\partial L_t}{\partial w_s}\\ \end{aligned}$∂w∂L​​=t=0∑T​∂w∂Lt​​=t=0∑T​s=0∑T​∂ws​∂Lt​​​

第二步完成，梯度get！

3.更新参数

有了梯度就可以更新参数了：$w=w-\alpha \frac{\partial L}{\partial w}$w=w−α∂w∂L​

以上三步就是针对参数$w$w的一次反向传播，个人认为了解这些就可以了，但是如果你想看BPTT更详尽的数学公式推导，我建议你看一下这篇文章。

梯度消失

下面是RNN前向传播公式，其中$f$f一般是$softmax$softmax函数，$g$g一般是$tanh$tanh函数。
$\begin{aligned} s_t &=f(Ux_t + Ws_{t-1}+b)\\ o_t &=g(Vs_t+c)\\ \end{aligned}$st​ot​​=f(Uxt​+Wst−1​+b)=g(Vst​+c)​

假设我们有一个RNN，时间序列只有三个时刻，下面是其结构图：

前向传播：
$s_1 =f(Ux_1 + Ws_0+b) \ \ \ \ \ \ o_t =g(Vs1+c)\\ s_2 =f(Ux_2 + Ws_1+b) \ \ \ \ \ \ o_t =g(Vs2+c)\\ s_3 =f(Ux_3 + Ws_2+b) \ \ \ \ \ \ o_t =g(Vs3+c)\\$s1​=f(Ux1​+Ws0​+b)      ot​=g(Vs1+c)s2​=f(Ux2​+Ws1​+b)      ot​=g(Vs2+c)s3​=f(Ux3​+Ws2​+b)      ot​=g(Vs3+c)

反向传播：
我们现在只对t=3时刻的$U、V、W$U、V、W求损失函数$L_3$L3​的偏导(其他时刻类似)：
$\begin{aligned} \frac{\partial L_3}{\partial U} &= \frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}\frac{\partial S_3}{\partial U}+\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}{\color{Red}{\frac{\partial S_3}{\partial S_2}}}\frac{\partial S_2}{\partial U}+\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}{\color{Red}{\frac{\partial S_3}{\partial S_2}\frac{\partial S_2}{\partial S_1}}}\frac{\partial S_1}{\partial U}\\ \frac{\partial L_3}{\partial V} &= \frac{\partial L_3}{\partial S_3}\frac{\partial S_3}{\partial V}\\ \frac{\partial L_3}{\partial W} &= \frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}\frac{\partial S_3}{\partial W}+\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}{\color{Red}{\frac{\partial S_3}{\partial S_2}}}\frac{\partial S_2}{\partial W}+\frac{\partial L_3}{\partial O_3}\frac{\partial O_3}{\partial S_3}{\color{Red}{\frac{\partial S_3}{\partial S_2}\frac{\partial S_2}{\partial S_1}}}\frac{\partial S_1}{\partial W} \end{aligned}$∂U∂L3​​∂V∂L3​​∂W∂L3​​​=∂O3​∂L3​​∂S3​∂O3​​∂U∂S3​​+∂O3​∂L3​​∂S3​∂O3​​∂S2​∂S3​​∂U∂S2​​+∂O3​∂L3​​∂S3​∂O3​​∂S2​∂S3​​∂S1​∂S2​​∂U∂S1​​=∂S3​∂L3​​∂V∂S3​​=∂O3​∂L3​​∂S3​∂O3​​∂W∂S3​​+∂O3​∂L3​​∂S3​∂O3​​∂S2​∂S3​​∂W∂S2​​+∂O3​∂L3​​∂S3​∂O3​​∂S2​∂S3​​∂S1​∂S2​​∂W∂S1​​​

$t=3$t=3 时刻加上之前的时刻，一共是3，等于上下两个式子的加数。若 $t$t 足够大，则式中的加数就会很多，红色部分的项数也越多。

根据上述公式，我们可以得出任意时刻t时对$U、W$U、W求偏导得公式，以$W$W为例：
$\frac{\partial L_t}{\partial W}=\sum_{k=0}^t\frac{\partial L_t}{\partial O_t}\frac{\partial O_t}{\partial S_t}({\color{Red}{\prod_{j=k+1}^t\frac{\partial S_j}{\partial S_{j-1}}}})\frac{\partial S_j}{\partial W} \ \ \ \ \ \ \ \ (3)$∂W∂Lt​​=k=0∑t​∂Ot​∂Lt​​∂St​∂Ot​​(j=k+1∏t​∂Sj−1​∂Sj​​)∂W∂Sj​​        (3)

把$S_j$Sj​展开：$s_j =tanh(Ux_j + Ws_{j-1}+b)$sj​=tanh(Uxj​+Wsj−1​+b)

则式(3)中的${\color{Red}{\prod_{j=k+1}^t\frac{\partial S_j}{\partial S_{j-1}}}}$∏j=k+1t​∂Sj−1​∂Sj​​就变成了：${\color{Red}{\prod_{j=k+1}^ttanh'W}}$∏j=k+1t​tanh′W

**函数tanh和它的导数图像如下

图片来自Recurrent Neural Network系列3–理解RNN的BPTT算法和梯度消失

可以看出$tanh'\leq 1$tanh′≤1，训练过程中几乎都是小于1的，而W的值一般会处于0~1之间，当时间序列足够长，即t足够大时，${\color{Red}{\prod_{j=k+1}^ttanh'W}}$∏j=k+1t​tanh′W就会趋近于0，这就造成了梯度消失；当W的值很大(一般为初始化不当引起)时，${\color{Red}{\prod_{j=k+1}^ttanh'W}}$∏j=k+1t​tanh′W就会趋近于无穷，这就造成了梯度爆炸。

RNN梯度消失问题很常见，题都爆炸问题一般不常见。RNN中的梯度消失会造成什么后果呢？会使RNN的长时记忆失效，简而言之就是会忘记很久之前的信息，记性不好。

至于怎么避免RNN的梯度消失和梯度都爆炸，我们现在知道，造成这种现象的根本原因就在于${\color{Red}{\prod_{j=k+1}^t\frac{\partial S_j}{\partial S_{j-1}}}}$∏j=k+1t​∂Sj−1​∂Sj​​这个连乘式，我们可以使这个连乘式中每项的偏导 $\frac{\partial S_j}{\partial S_{j-1}}\approx 0$∂Sj−1​∂Sj​​≈0 或 $\frac{\partial S_j}{\partial S_{j-1}}\approx 1$∂Sj−1​∂Sj​​≈1。这就是LSTM做的事情。下一篇文章介绍LSTM。

references

[1] 零基础入门深度学习(5) - 循环神经网络
[2] Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs
[3] Recurrent Neural Network系列3–理解RNN的BPTT算法和梯度消失
[4] On the difficulty of training recurrent neural networks