RNN与LSTM
RNN
RNN
递归神经网络（RNN），该网络最大的特点就是利用了前一步的信息。如下图：
RNN有一个比价特别的地方，那就是S，表示记忆单元。
其反向传播的过程需要将当前步的一直到最后的梯度都求出来。这个也是它的缺点，为什么呢？主要就是因为距离当前太远的地方，可能与当前关系不大，我们应该忽略他，同时这样也容易造成梯度消失。
LSTM
针对RNN存在的问题，在LSTM上可以得到很好的解决。LSTM使用三个门，分别 是选择忘记的门，新的需要保留的门，以及需要输出的门。具体如下
- 选择忘记的门 Ct-1是上一阶段的控制参数 ht-1是上阶段的输出。
2 需要保留的新信息 - 控制当前输出的门
fine tune （微调）
fine tune 就是在别人训练好的模型上 进行稍微的修改，训练自己需要的模型