LSTM和GRU简述

前言

最近在学习图神经网络GNN，其中涉及到了RNN的一些概念。为了更好理解GNN，因此回头再将RNN的概念进行一些梳理
(本文图片均来自台大李宏毅教授课程PPT)

1. RNN

RNN缘起
循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

RNN结构
$x$x为当前状态下数据的输入，$h$h表示接收到的上一个节点的输入。
$y$y为当前节点状态下的输出，而$h'$h′为传递到下一个节点的输出。
通过上图的公式可以看到，输出 h’ 与 x 和 h 的值都相关。
而$y$y则常常使用$h'$h′投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。对这里的$y$y如何通过$h'$h′计算得到往往看具体模型的使用方式。

通过序列形式的输入，我们能够得到如下形式的RNN。

2.LSTM

LSTM定义
长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

LSTM结构
LSTM结构（图右）和普通RNN的主要输入输出区别如下所示。
相比RNN只有一个传递状态$h^t$ht，LSTM有两个传输状态，一个$c^t$ct（cell state），和一个$h^t$ht（hidden state）。

LSTM分析
首先使用LSTM的当前输入$x^t$xt和上一个状态传递下来的$h^{t-1}$ht−1拼接训练得到四个状态。
其中，$z^f$zf，$z^i$zi，$z^o$zo是由拼接向量乘以权重矩阵之后，再通过一个$sigmoid$sigmoid**函数转换成0到1之间的数值，来作为一种门控状态。而$z$z则是将结果通过一个$tanh$tanh**函数将转换成-1到1之间的值（这里使用$tanh$tanh是因为这里是将其做为输入数据，而不是门控信号）。

LSTM内部结构
LSTM内部主要有三个阶段：

1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。

   具体来说是通过计算得到的$z^f$zf（f表示forget）来作为忘记门控，来控制上一个状态的$c^{t-1}$ct−1哪些需要留哪些需要忘。

2. 选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入$x^t$xt进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。当前的输入内容由前面计算得到的$z$z表示。而选择的门控信号则是由$z^i$zi（i代表information）来进行控制。

   将上面两步得到的结果相加，即可得到传输给下一个状态的$c^t$ct。也就是上图中的第一个公式。由此可见RNN中的$h^t$ht对于LSTM中的$c^t$ct

3. 输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过$z^o$zo来进行控制的。并且还对上一阶段得到的$c^o$co进行了放缩（通过一个$tanh$tanh**函数进行变化）。

   与普通RNN类似，输出$y^t$yt往往最终也是通过$h^t$ht变化得到。

3. LSTM总结

以上，就是LSTM的内部结构。通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息；而不像普通的RNN那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说，尤其好用。

但也因为引入了很多内容，导致参数变多，也使得训练难度加大了很多。因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。

4.GRU

GRU定义
GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。

GRU结构
GRU的输入输出结构与普通的RNN是一样的。

有一个当前的输入$x^t$xt，和上一个节点传递下来的隐状态（hidden state）$h^{t-1}$ht−1，这个隐状态包含了之前节点的相关信息。

结合$x^t$xt和$h^{t-1}$ht−1，GRU会得到当前隐藏节点的输出$y^t$yt和传递给下一个节点的隐状态$h^t$ht。

GRU内部结构

1. 首先通过上一个传输下来的状态$h^{t-1}$ht−1和当前节点的输入$x^t$xt来获取两个门控状态。如下图2-2所示，其中$r$r控制重置的门控（reset
   gate），$z$z为控制更新的门控（update gate）。
   

2. 得到门控信号之后，利用重置门控处理之前序列输入的记忆。也就是说重置门决定了如何将新的输入信息与前面的记忆相结合经过将$h^{t-1}$ht−1和$r$r处理后得到$h^{{t-1}'}$ht−1′.再将$h^{{t-1}'}$ht−1′与输入$x^t$xt进行拼接，再通过一个$tanh$tanh**函数来将数据放缩到-1~1的范围内。即得到如下图所示的$h'$h′。
   总结来说就是首先将之前序列的记忆$h^{t-1}$ht−1进行重置处理使其可以与当前模块输入的数据进行融合。之后与输入$x^t$xt进行拼接得到$h'$h′这里的$h'$h′主要是包含了当前输入的$x^t$xt数据。有针对性地对$h'$h′添加到当前的隐藏状态，相当于”记忆了当前时刻的状态“。类似于LSTM的选择记忆阶段

3. **GRU的最后一个步骤称之为"更新记忆"阶段，在这个阶段，同时进行了遗忘和记忆两个步骤。**利用下图公式进行处理由此可以看出传入下一结点的信息是对上一结点的信息和这一结点所接收到的信息进行权重平衡输出的结果。也就是说，对于传递进来的维度信息，我们会进行选择性遗忘，则遗忘了多少权重$z$z，我们就会使用包含当前输入的$h'$h′中所对应的权重进行弥补$(1-z)$(1−z)。以保持一种”恒定“状态。

注意其中$h'$h′并不是此结点单纯的输入，而是结合上一结点传入信息经过门控信号处理后与当前结点输入相融合后的值

5.GRU总结

GRU输入输出的结构与普通的RNN相似，其中的内部思想与LSTM相似。

与LSTM相比，GRU内部少了一个”门控“，参数比LSTM少，但是却也能够达到与LSTM相当的功能。考虑到硬件的计算能力和时间成本，因而很多时候我们也就会选择更加”实用“的GRU啦。

6.GRU与LSTM

这里的$h'$h′实际上可以看成对应于LSTM中的hidden state；上一个节点传下来的$h^{t-1}$ht−1则对应于LSTM中的cell state。z对应的则是LSTM中的$z^f$zfforget gate，那么$(1-z)$(1−z)我们似乎就可以看成是选择门$z^i$zi了

这里回头看LSTM中推导过程，最后一个计算模块先计算出$c^t$ct，之后根据输出门控单元$z^o$zo和$c^t$ct计算出$h^t$ht。最后根据$h^t$ht计算出$y^t$yt。
类比于GRU中的推导过程$h^{t-1}$ht−1类比于$c^t$ct，根据重置门控单元$r$r和输入$x^t$xt得到$h'$h′正好类比于$h^t$ht

Reference

reference1
reference2
reference3
本文主要根据三篇参考文章中的内容进行整理，包括一些结构上的调整和笔者自己的看法和总结