RNN(Recurrent Neural Networks)和LSTM

RNN是目前NLP中很火的神经网络,也是需要掌握的一种神经网络。可以在BPNN的基础上来学习RNN

RNN(Recurrent Neural Networks)和LSTM

以上是RNN的定时循环,
用来处理输入之间前后关联的问题。

传统神经网络并不能做到思考的持久性,这是一个巨大的弊端。而RNN关注于此。

RNN(Recurrent Neural Networks)和LSTM

RNN可以看作是同一神经网络的多次复制,每个神经网络模块会把消息传递给下一个,以下是循环的展开:

RNN(Recurrent Neural Networks)和LSTM

LSTM是RNN中非常重要的一种变形,几乎所有的RNN应用都是基于LSTM。