RNN递归神经网络(八)

RNN递归神经网络

首先来回顾一下之前的神经网络:

RNN递归神经网络(八)

在这个神经网络里面,没一个输入都是独立的,没有什么影响。每一个样本输入进行一个参数的更新互相没有联系。

而递归神经网络就是要解决这种互相独立的问题。比如“我是一个中国人,我应该说中文”。按照最简单的第一种的神经网络,其实也就是CNN和普通的全连接神经网络,这样的话就是一个一个字的传进去进行一个参数更新。

而RNN神经网络在传入的每个参数的时候都会进行一个保存提取一个有用的信息。比如在传入的“我是一个中国人,我应该说。。。”。在检测到应该说字的时候,就会发现之前有讲到中国,所以有很大概率会说中文了。RNN递归神经网络(八)


在每一次输入的时候都会进行一个前一次数据的保留和提取,然后和下一次输入的数据进行一个判断。

RNN递归神经网络(八)


这样看来其实每一次就有两次输入了,第一次就是输入的值,第二次就是一个前一次的传过来的值了。