吴恩达Deeplearning.ai 第五课 Sequence Model 第一周------Long Short Term Memory(LSTM)

这一节主要讲解了LSTM单元

LSTM和GRU略有区别，可以说是一种更加通用的GRU模型

在LSTM中，c<t>不再等于a<t>，因此原来公式中的c<t-1>要改成a<t-1>，同时在LSTM中，也没有了Γr这个门

但不同是，除了同样保持了Γu这个门之外，还增加了Γf（forget gate）和Γo(output gate)两个门。在原来c<t>的更新公式中，将(1-Γu)替换为Γf,并且在利用Γo来得到a<t>

LSTM的公式和单元结构：

很多个这样的单元组合起来就成了LSTM network：

一些不同的版本：

同样，在这里面，有时候也会在gate的计算中加入c<t-1>项，即变成Wu[a<t-1>, x<t>, c<t-1>]等，这被称为peephole connection

但在这里面c<t-1>的每个元素只影响gate中对应的某个元素，而不会影响gate中其他位置的元素

LSTM和GRU的选择：

1.关于二者孰优孰劣并没有明确的论断，在实际项目中可以进行尝试。

2.GRU的优点是只需要两个门，计算量更小，当要搭建大型神经网络时可以更好得scaling（感觉这个词只可意会不可翻译）

3.LSTM的优点是有三个门，因此效率更高，但是计算量更大。
在现在的一些研究中，使用LSTM的会更多一些