LSTM

结构

LSTM结构如下：
LSTM

输入门 $I_{t}$ ，遗忘门 $F_{t}$ 和输出门 $O_{t}$ 定义如下：
LSTM

LSTM

LSTM

通过输入门和遗忘门来控制细胞的信息流动。如果遗忘门一直近似1且输入门一直近似0，过去的细胞将一直通过时间保存并传递至当前时刻。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时序数据中间隔较大的依赖关系。

LSTM
通过输出门来控制细胞信息到隐含状态的信息流动。当输出门近似1，细胞信息将传递到隐含层变量；当输出门近似0，细胞信息只自己保留。