BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning QA

1. 在node- query 中构建双向注意力学习query-aware representation
2. 构建node 和 query 时，使用multi-level feature, 并引入了NER和POS  [如果使用的是BERT, 不知道引入这些手工特征影响大不大？]

1.  Entity Graph Construction

所有在文档集合中的candidate构成了entity graph的顶点，之后定义无向边基于节点对的位置属性。

1）跨文档边：定义在出现在不同文档中的相同entity之间

2）文档内部边：定义在同一文档的每个实体之间

2. Multi-level Features

作者将node 和query 用多个层面的特征表示；具体地，

node 的表示：给定一个node, 计算node 中所有tokens 的GloVe embedding的平均值，得到token-level 特征。再计算node 中所有tokens 的ELMO embeddings的平均值，得到context-level 特征。

再将这两个平均值用输入到1-layer linear network中进行编码融合，得到;  再叠加两个手工特征，NER(命名实体识别)和POS（词性标注），目的是

反映token的语义属性。最终的node 表示为

query的表示：将query 用Bi-LSTM进行编码，得到. 同理，最终query的表示为 。

3.GCN Layer

[]

【其实，这个地方我并没有看懂，作者并没有解释如何得到，以及后半部分又介绍了一种的计算，WHY???】

4. Bi-directional Attention Between a Graph and a Query

(1) 计算similarity matrix :

,其中最后一层GCN层所有节点的表示，是编码后的query feature representation(我在文字并没有看到类似的介绍，或者是我看漏了？)

（2）计算node-to-query attention：

(3) 计算query-to-node attention：

(4) 最终的输出：

Our bi-directional attention layer is the concatenation of the original nodes feature, nodes-toquery attention, the element-wise multiplication of nodes feature and nodes-to-query attention, and
multiplication of nodes feature and query-to-nodes attention.
 

5.Output layer

经过全连接层的tanh**函数，最后通过一个softmax layer评估图中的每个节点是答案的概率，因为每个candidate可能会在图中多次出现（比如同一实体出现在不同文档中的时候），每个candidate的概率为所有对应node的和。

node 和 query 可以进行bi-attention 计算 

此外，很多地方作者都没交代清楚，我是没看懂。。。。