来源: ACL2017短文
关键词：imaging captioning; attention mechanism
原文
# Motivation
mermaid
graph LR
QA---KBQA(knowledge based)
QA---raw_text(raw text)
KBQA(knowledge based)---基于符号表示
KBQA(knowledge based)---基于深度学习

KBQA的性能会受到知识图谱不完整的影响，text的信息更多，但是非结构化的。
这个问题的难点在于如何将将两个不同来源的信息转换成统一的编码。
作者想到了使用Universal schema（最早用在关系分类上） 。本质上就是将不同来源的信息转化在一个特征空间后拼接起来。
## Problem Definition

Given a question q with words w1 , w2 , … , wn , where these words contain one blank and at least one entity, our goal is to fill in this blank with an answer entity q a using a knowledge base K and text T .

Method

Memory

对于知识库，设(s,r,o)为KB中的一个triple，key:由s∈Rd$\mathbf{s}\in {\mathbb{R}}^{\mathbf{d}}$和r∈Rd$\mathbf{r}\in {\mathbb{R}}^{\mathbf{d}}$组成的k∈R2d$\mathbf{k}\in {\mathbb{R}}^{\mathbf{2}\mathbf{d}}$，vlaue: ‘o’的embedding v∈Rd$\mathbf{v}\in {\mathbb{R}}^{\mathbf{d}}$.
对于一个文本事实，k=[w1,...,s,...,blank,wn]$k=[w_1,...,s,...,blank,w_n]$ and value as just the entity ‘o’. k∈R2d$\mathbf{k}\in {\mathbb{R}}^{\mathbf{2}\mathbf{d}}$是双向LSTM的output，vlaue: ‘o’的embedding v∈Rd$\mathbf{v}\in {\mathbb{R}}^{\mathbf{d}}$.

Question Encoder

Attention over cells

这里采用点积模型计算注意力。
为了实现更新复杂的计算,我们可以让主网络和外部记忆进行多轮交互，即多跳（Multi-Hop）操作。在第 k 轮交互中，主网络根据上次从外部记忆中读取的信息，产生新的查询向量。

Experiments

该部分开始有对各类问答数据集的介绍，可以参考。

A limitation of this dataset is that it contains only the sentences that have entities connected by at least one relation in Freebase, making it skewed towards Freebase as we will see (§ 4.4).

结论与思考

本文在几乎不需要任何手工定义的特征（hand- crafted features），也不需要借助词汇映射表，词性标注，依存树等条件下取得了当时很好的效果。
思考：KB and text exploited together的想法很久之前就有，只不过效果一般；Our model is a key-value MemNN with universal schema as its memory，并且只提供了一个数据集上的结果。但两者结合解决该问题是创新点，并且在某个数据集上表现最好。