LSTM模型

1. 知识背景

**函数

1. $sigmoid$sigmoid函数（归一化）

（LSTM等网络的每个组成单元（unit）中用到的$\sigma$σ门通常使用这个函数）$sigmoid$sigmoid 函数的作用是 将值压缩到 0~1 之间

2. $tanh$tanh函数（归一化）

$tanh$tanh是双曲函数中的一个，$tanh()$tanh()为双曲正切。在数学中，双曲正切“$tanh$tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。$tanh$tanh函数（LSTM等网络的每个组成单元（unit）中用到的$tanh$tanh门）
$tanh(x)=sinh(x)/cosh(x)$tanh(x)=sinh(x)/cosh(x)

2.Recurrent Neural Network （RNN )

RNN是由多个unit组成的（每个unit是由一个tanh函数构成，tanh是一个**函数）
A 称为RNN的一个unit
$X_t$Xt​ 是一个输入信息
$h_t$ht​ 是通过第t个unit后的一个记忆状态

3. Long Short-Term Memory (LSTM）

（ Memory networks)可以解决传统RNN的长期依赖(long-term dependencies)问题。它对传统RNN的隐层进行了结构上的 改进。主要是添加了遗忘门，通过遗忘门决定对以往的信息还可以记忆多少。
LSTM是由多个unit组成的，但是它的unit和RNN的unit内部结构是不同的（LSTM的unit比RNN的unit更复杂或者说操作更多）多了几个**函数$\sigma$σ和$tanh$tanh,其中$\sigma$σ一般使用的**函数是$sigcom$sigcom

那么我们分几部分说LSTM的组成

LSTM中的状态信息，可以把这个理解为为记忆(memory)。下图中$C_{t-1}--->C_{t}$Ct−1​−−−>Ct​ 水平线可以理解为记忆（memory）总线，总线上面的 $\bigotimes$⨂ 可以理解为乘法操作，$\bigoplus$⨁是加法操作

LSTM有三种门，即遗忘门，输入门，输出门。 LSTM中的门可以选择性的控制信息的流动，通常由一个sigmoid神经网络层和一个point wise(或者叫element wise)的乘法操作组成。

3.1 遗忘门

$f_t$ft​是$h_{t-1}$ht−1​和$x_t$xt​穿过遗忘门$\sigma$σ的输出信息，通常为其设置一个权重$W_f$Wf​和偏移$b_f$bf​，如果没有遗忘那么$f_t$ft​=1；如果全部遗忘$f_t$ft​=0.

3.2 输入门
输入门稍微有些复杂，但是也很简单，将输入门拆成两部分（$\sigma$σ门和$tanh$tanh门）$i_t$it​是$h_{t-1}$ht−1​和$x_t$xt​穿过门$\sigma$σ的输出信息，通常为其设置一个权重$W_i$Wi​和偏移$b_i， $\widetilde{C}_t$Ct​是$h_{t-1}$ht−1​和$x_t$xt​穿过门$tanh$tanh后的输出信息，同样为其设置一个权重$W_C$WC​和偏移$b_C

总线 $C_{t-1}$Ct−1​ -----> $C_{t}$Ct​信息

3.3 输出门

$o_t$ot​是$h_{t-1}$ht−1​和$x_t$xt​经过$\sigma$σ门后输出的信息，输出门的输出信息$h_t$ht​是由现有记忆信息$C_t$Ct​和$o_t$ot​经过$tanh$tanh，门组合而成有些复杂，但是拆分成几个门来看也不过如此啊

概括一下：

• 状态信息$C_t$Ct​的依赖于遗忘门$f_t$ft​和输入门$i_t$it​和$tanh$tanh
• 遗忘门$f_t$ft​和输入门$i_t$it​和$tanh$tanh依赖于输入信息$h_{t-1}$ht−1​和$x_t$xt​
• 当前隐层$h_t$ht​依赖于状态信息$C_t$Ct​

4. LSTM的变种–最典型的几个

以下对LSTM所做出的改进都是对组成LSTM的unit改进的，加入更为复杂的门，加入耦合等…

• GRU

一种比其他形式变化更为显著的LSTM变式是由 Cho, et al. (2014)提出的门循环单元（GRU）。它将忘记门和输入门合并成一个新的门，称为更新门（从左到右第一个$\sigma$σ经过$tanh$tanh后与第二个$\sigma$σ组合而成）。GRU还有一个门称为重置门（下图从左到右第一个$\sigma$σ）。

其中重置门（上图中从左到右第一个$\sigma$σ门），决定了如何将新的输入信息与前面的记忆相结合。更新门（上图中从左到右第一个$\sigma$σ门和第二个$\sigma$σ门的组合），定义了前面记忆保存到当前时间步的量。由于该变式的简单有效，后来被广泛应用。

• peephole connections

其中一个很受欢迎的变式由Gers & Schmidhuber (2000)提出，它在LSTM的结构中加入了“peephole connections.”结构，peephole connections结构的作用是允许各个门结构能够看到细胞信息

• 耦合遗忘门和输入门

还有一种变式是在忘记门与输入门之间引入一个耦合。不同于之前的LSTM结构，遗忘门和输入门是独立的，这个变式是在忘记门删除历史信息的位置加入新的信息，在加入新信息的位置删除旧信息。该结构如下图所示。
将遗忘门和输入门耦合在一起，简单来说就是遗忘多少就更新多少新状态，没有遗忘就不更新状态，全部遗忘那就将新状态全部更新进去。