循环神经网络RNN

对于图像问题可以使用CNN较好的解决,但对于文本类数据,较好的解决方式是采用RNN
例如:1、我很想去北京,2、我不想去北京;
说明:将1中的句子进行词语分开,最后的输入是北京,2也相同;对于普通网络最后的输入为北京,得到的结果是这两句话的结果相同,而实际不同;对于此类问题,我们要设计的方法是需要对之前词语的输入进行记忆,将记忆的结果送给下层,这样尽管最后的输入相同,而实际上输出的结果已经记忆了其中的不同输入,这就是我们所说的RNN
循环神经网络RNN一个网络,多次循环,而不是多个网络;但存在问题(长时依赖问题)
比如:1、我住在北京,我会讲中文;其中中文是输出
   2、我出生在英国,但是喜欢到处完,。。。中国。。。,但是我是一个英国人;其中英国人是输出,省略号代表中间有一些不相关的词,整个句子很长
这个时候就会出现一个问题,句子1中文与北京可以相互对应,句子很短,没有问题;而句子2中最后的英国人与前面的英国相距较远,不易学习

LSTM

  1. 忘记阶段
  2. 选择记忆阶段
  3. 输出阶段