P44：LSTM
LSTM解决了梯度消失问题，所以现在一说到RNN，默认就是指LSTM，而不是RNN的简单形式。因此，在训练LSTM时可以使用非常低的学习率去训练网络。同时，如果LSTM有非常严重的过拟合，可以使用Gated Recurrent Unit（GRU）网络。该网络会把input gated和forget gated联动起来（主要思想是input gated打开，forget gated清除memory，准备存储新信息；input gated关闭，forget gated才会打开），相当于比LSTM少一个gated，参数比LSTM少。
训练CTC时为什么需要加一个字符？
答：如果不是使用的CTC，而是Trimming（即：去掉重复的），但是又不能识别“好棒棒”（如图二）；使用CTC时，会多用一个字符参与训练，去代替重复的字符，如图三。如何确定是“好卍卍棒卍棒卍卍”，而不是“好卍卍棒卍卍棒卍”等其他形式呢？训练的时候它会穷举所有可能（那这种穷举多吗？多，但是有技巧），并把它们当成正确的，如图四。
在语音识别上，RNN和structured learning优劣比较：