RNN训练文本

本文通过RNN学习hello->ohlol的规律

1.处理字符

因为字符不是数字,无法变成向量输入,所以必须将字符变成数字,这里用到了one-hot vector

通过将字符变成对应的索引,然后将索引变成one-hot vector,将其作为RNN的输入,这里因为只有4个字母,所以输入维度为4

RNN训练文本

 这里要求第一个输出为0,第二个为h,第三个为l,所以这是一个多分类的问题,需要输出一个四维向量,每一维度表示为某个字母的概率

 

RNN训练文本

 这样我们的每一个输入Xi就是one-hot vector的一行如[0 1 0 0]

RNN训练文本