RNN递归神经网络
递归神经网络目的是为了利用中间信息(feature)，中间信息的保留，例如，“我出生在中国，所以我说中国话”,“说"后面可以跟很多词，但是如果已知出生在中国，那么"中国话"这个词的预测概率就会大幅上升。
1先对话分词，将分词结果往里输入，当做RNN每一步的输入值，当然，每一步的中间结果并不是一定要追求的，目的是最后的输出结果，比如"我"并不是重要的，重要的是"说”，RNN适用于自然语言处理
RNN的反向传播
与卷积神经网络不同的是，每一层都有一个记忆单元，例如E3，E3要对S3求梯度，然后S3要对X3求梯度，同时S3要对S2求梯度，以此类推
RNN存在的问题，当词比较多的时候，很早之前出现的词对当前词没有什么用。