Effective Approaches to Attention-based Neural Machine Translation之每日一篇

论文地址：http://www.cs.cmu.edu/~ark/EMNLP-2015/proceedings/EMNLP/pdf/EMNLP166.pdf

概述：

本文针对NMT任务是用attention机制提出两种结构，global attention将attention作用于全部输入序列，local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft attention，其原理和论文1一样，后者是hard attention和soft attention的结合，该文通过context vector ct和隐向量ht来预测当前输出：

两种attention机制不同的是context vector的计算；

在global attention中，将输入序列的各个时间步都考虑进去，每个时间步的attention值由下式计算而得：

Local Attention

为了进一步减少计算代价，在解码过程的每一个时间步仅关注输入序列的一个子集，于是在计算每个位置的attention时会固定一个上下文窗口，而不是在全局范围计算attention。根据一个预测函数，先预测当前解码时要对齐的源语言端的位置Pt，然后通过上下文窗口，仅考虑窗口内的词，Pt可以直接等于当前解码的位置或是使用感知机进行预测,S是当前序列的长度,v和W为感知机的参数。