【深度学习】RNN中Attention原理详解
Attention原理
在输出序列中,当前的输出与当前状态有关。
当前状态与前一步状态、前一步输出和当前所看到的上下文有关
当前所看到的上下文来自其所看到的输入的信息(对输入加工得到有用信息)的加权,这个加权就是所谓的Attention机制。也就是说之前所看到的信息需要区别对待。
输入信息的加权值,通过当前输入信息与前一步状态通过softmax计算得到。这个加权值的计算也是需要通过神经网络训练出来,因为它所属的分布很难得知,通过神经网络,可以避开这个问题。
参考文献:Bahdanau D, Cho K, Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate[J]. Computer Science, 2014.