【深度学习】RNN中Attention原理详解

在输出序列中，当前的输出与当前状态有关。

当前状态与前一步状态、前一步输出和当前所看到的上下文有关

当前所看到的上下文来自其所看到的输入的信息(对输入加工得到有用信息)的加权，这个加权就是所谓的Attention机制。也就是说之前所看到的信息需要区别对待。

输入信息的加权值，通过当前输入信息与前一步状态通过softmax计算得到。这个加权值的计算也是需要通过神经网络训练出来，因为它所属的分布很难得知，通过神经网络，可以避开这个问题。

参考文献：Bahdanau D, Cho K, Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate[J]. Computer Science, 2014.