encoder to decoder

步骤一

将输入数据编码成一个上下文向量,这部分称为Encoder,得到有多种方式,

  1. 最简单的方法就是把Encoder的最后一个隐状态赋值给,
  2. 还可以对最后的隐状态做一个变换得到,
  3. 也可以对所有的隐状态做变换。

其示意如下所示: encoder to decoder

步骤二

用另一个RNN网络(我们将其称为Decoder)对其进行编码,

方法一:

将步骤一中的作为初始状态输入到Decoder,示意图如下所示:

encoder to decoder

 方法二:

是将​作为Decoder的每一步输入,示意图:

encoder to decoder