Attention在语音识别中的应用(1)
从2014年Attention mode在机器翻译或起来以后，attention model逐渐在语音识别领域中应用，并大放异彩。因此本篇文章就对Attention进行总结和说明。
首先要确定的是Attention是一种权重向量或矩阵，其往往用在Encoder-Decoder架构中，其权重越大，表示的context对输出越重要。计算方式有很多亚种，但是核心都是通过神经网络学习而得到对应的权重。通常其权重aij和Decoder中的第i-1个隐藏状态，Encoder中的第j个隐藏状态相关[1]。
接下来跟进一篇论文来具体了解Attention的用法和构成。第一篇文章是Jan Chorowski 的《Attention-Based Models for Speech Recognition 》[2].
Encoder端是一个BiRNN结构，第i步的输出Yi和hi和Attention的权重相关，具体架构如下图所示：
其输出Yi为：
其中，Generate为RNN的Decoder结构，Si-1表示Decoder中的第i-1个状态，gi表示glimpse,即Attention和隐藏层H相乘之后的结果，
glimpse为：
上式中，aij即为Attention的权重,hj为encoder中第j个隐藏状态。
si为Decoder中的因此状态，依赖si-1和gi和yi,如下所示：
以上为Attention的用法，解析来看一下Attention中aij是如何进行得到的。
aij是eij经过softmax的结果，eij计算如下(content-basedAttention )：
即Attention的权重aij是和Decoder中第i-1步骤的隐藏状态si-1相关，和Encoder中的第j步的隐藏状态hj相关;
eij还有第二种计算方式，就是把上一步骤中的ai-1加入到其中（location based Attention）
aij还有其他的实现方式：
sharpen方式:其中β>1
Smooth方式：
以上就介绍完了Attention的用法，下面来对Attention在近期的语音识别和机器翻译中的使用做一个说明。
2016年3月份Dzmitry Bahdanau 在文献[3]中把Attention模型用在了LVCSR中，Bandana在上面的基础之上，进行了改进，
1）对Attention的计算范围进行了2w的加窗，加快训练和解码
2）RNN结构为GRU，对RNN加入了pool，减少长度和计算量
3）加入n-gram，支持WFST解码
其Attention相关的结构如下：下图中的ct等价于上面介绍的glimpse，即gi
最终错误率对比如下所示：
可以看到，其最好WER为9.3%，基本达到了苗亚杰2015年CTC+3-gram的水平。
然而Attention模型虽然好，但是还是有自身的问题[4][5]，问题如下：
1）适合短语识别，对长句子识别比较差
2）noisy data的时候训练不稳定
因此比较好的方法是使得Attention与CTC进行结合，
Suyoun Kim等人在2016年9月的文章[5]就对Attention与CTC结合对语音声学模型建模，其结构如下所示：
其共用一个Encoder，Decoder分为2个，一个是CTC，一个是Attention，并通过权重λ来给定不同的权重比，
其损失函数如下：
在Encoder结构为4层BLSTM，每层320个节点，Decoder为单向LSTM，节点也为320个
λ为0.2，0.5，0.8的情况下，模型收敛情况如下所示：
对比蓝色的Attention模型还有红色的CTC模型，Attention+CTC模型更快的收敛了，这得益于初始阶段CTC的阶段对齐更准确，使得Attention模型训练收敛更快。
最终其CER如下所示：
λ在0.5或者0.8的情况下，字正确率超过了单纯的Attention模型和CTC模型。
2017年7月，Facebook提出的Attention在CNN的机器翻译领域达到了state-of-art水平[6]，其结构如下图所示：
与上面讨论不同的是，该Attention是多层的，每层都有对应一个Attention。是一个multiple steps结构。
Google在2017年6月针对MNT提出了纯Attention模型[7]，文中提出了self-attention结构和Multi-head Attention结构。如下图所示：
整体架构如下：
关于MNT的架构分析会在接下来的文章中进行讨论
Attention相关的更多文章可以看看NIPS workshop 2015相关的主题介绍 [8]
[1].https://zhuanlan.zhihu.com/p/28054589
[2] Attention-Based Models for Speech Recognition
[3] END-TO-END ATTENTION-BASED LARGE VOCABULARY SPEECH RECOGNITION
[4] GMIS 2017 | 腾讯AI Lab副主任俞栋：语音识别研究的四大前沿方向
[5] JOINT CTC-ATTENTION BASED END-TO-END SPEECH RECOGNITIONUSING MULTI-TASK LEARNING
[6]Convolutional Sequence to Sequence Learning
[7]Attention Is All You Need
[8]Reasoning, Attention, Memory (RAM) NIPS Workshop 2015