[EMNLP2015]Effective Approaches to Attention-based Neural Machine Translation
neural machine translation有以下优点:
(1) 有能力生成很长的词序列
(2) 因为不需要存储巨大的短语词表,所以需要很小的内存
(3) 解码很容易
A: 介绍了两种attention模型,其共同点是在每一步decoding时hidden state h
(1)global attention
在生成target word y
上图给出了两条计算路线, 上面一条是以往的计算路线,下面的是本文给出的计算路线
(2) local attention
input 中的部分词参与生成 y
重点是计算p
B:input-feeding Approach
图1和图4中蓝色方框是encoder, 红色部分是decoder, 现在关注的是decoder的输入有变化, 在图1中,decoder的当前时刻的input 是前一时刻的输出,而在图4中decoder的当前时刻input除了前一时刻的输出还有前一时刻的隐状态