一文看懂 Bahdanau 和 Luong 两种 Attention 机制的区别
来自 | 知乎 作者 | Flitter
链接 | https://zhuanlan.zhihu.com/p/129316415
编辑 | 深度学习这件小事公众号
本文仅作学术交流，如有侵权，请联系删除
Attention 机制作为近年来自然处理领域最重要的理念之一，在许多 NLP 子领域中得到了广泛应用。以注意力机制为核心的 Transformer、BERT、GPT 等模型也在各类任务 benchmark 不断屠榜。其中，Luong Attention 和 Bahdanau Attention 是最经典的两种注意力机制。二者在理念上大致相同，但在实现细节上存在许多区别。
简单来说，Luong Attention 相较 Bahdanau Attention 主要有以下几点区别：
-
注意力的计算方式不同
在 Luong Attention 机制中，第 t 步的注意力 是由 decoder 第 t 步的 hidden state 与 encoder 中的每一个 hidden state 加权计算得出的。而在 Bahdanau Attention 机制中，第 t 步的注意力 是由 decoder 第 t-1 步的 hidden state 与 encoder 中的每一个 hidden state 加权计算得出的。 -
decoder 的输入输出不同
在 Bahdanau Attention 机制中，decoder 在第 t 步时，输入是由注意力 与前一步的 hidden state 拼接（concatenate）得出的，得到第 t 步的 hidden state 并直接输出 。而 Luong Attention 机制在 decoder 部分建立了一层额外的网络结构，以注意力 与原 decoder 第 t 步的 hidden state 拼接作为输入，得到第 t 步的 hidden state 并输出 。
decoder 部分第二层第 t 步的状态会作为第一层第 t+1 步的输入
总结一下，Bahdanau Attention 机制的计算流程为 ，而 Luong attention 机制的计算流程为 。相较而言， Luong attention 机制中的 decoder 在每一步使用当前步（而非前一步）的 hidden state 来计算注意力，从逻辑上更自然，但需要使用一层额外的 RNN decoder 来计算输出。
此外，Bahdanau Attention 机制的论文中只尝试了使用 concat 作为对齐函数，而 Luong Attention 机制的论文在多种对齐函数上做了实验。
根据计算区域的大小，可以将对齐函数分为全局注意力（Global Attention）和局部注意力（Local Attention）两种机制。全局注意力模式会将 encoder 的每一步 hidden state 进行注意力计算，而局部注意力模式则计算部分范围的 hidden state。
根据所用信息，可以分为基于内容的对齐和基于位置的对齐。前者同时考虑了 encoder 的 hidden state 和当前步 decoder 的 hidden state ，而后者只考虑当前步 decoder 的 hidden state 。
参考链接
- Neural Machine Translation by Jointly Learning to Align and Translate: https://arxiv.org/abs/1409.0473
- Effective Approaches to Attention-based Neural Machine Translation: https://arxiv.org/abs/1508.04025
- Attention Variants: http://cnyah.com/2017/08/01/attention-variants/
- BahdanauAttention与LuongAttention注意力机制简介-CSDN博客: https://blog.csdn.net/u010960155/article/details/82853632
- 胡文星：seq2seq中的两种attention机制（图+公式）: https://zhuanlan.zhihu.com/p/70905983
重磅！忆臻自然语言处理-学术微信交流群已成立
可以扫描下方二维码，小助手将会邀请您入群交流，
注意：请大家添加时修改备注为 [学校/公司 + 姓名 + 方向]
例如 —— 哈工大+张三+对话系统。
号主，微商请自觉绕道。谢谢！
推荐阅读：
PyTorch Cookbook（常用代码段整理合集）
通俗易懂！使用Excel和TF实现Transformer！
深度学习中的多任务学习(Multi-task-learning)——keras实现