LSTM速度复习
长短时记忆网络LSTM中，ft,ot,it是门控，表示右边的值有多少能通过（不就是在BP网络上加了这种叫“门”的东西嘛，这个门控也是由各传入*权值**出来的），整个算法是关键是出现了控制神经元有多少能通过这种思想，关键的信息会保留在中间cell的位置（可以理解为隐藏层）
记忆：三个门，输出门，输入门，忘记门
先不看输出输出输入门，就看忘记门，就是在RNN基础上，利用上一轮总输出及当前输入做门控来决定上一轮隐藏层的输出有多少传入，然后输入输出门都很简单，利用上一轮总输出及当前输入做门控制输门有多少能通过，最后输出有多少能通过
如此，在发现有用的信息时就会把关键信息从cell中掉用出来，例如第一句“我出生在美国”，第十句“我能讲流利的——“，输出”英语"
还有两个变种：