阅读《Learning to Ask: Neural Question Generation for Reading Comprehension 》

在训练中出现较少的单词将被替换成UNK
但是编码时会大量输出UNK，因此对编码时期的UNK 做积极的处理。文章采用了简单替换的方式，用当前时刻，输入句子中注意力分数最高的词替换。

We see that the key words in the output (“introduced”, “teletext”, etc.) aligns well with those in the input sentence.

仔细想想这样的想法蛮有意思的。当这个词在词表中出现概率低（不出现）时即意味着这个词是这个句子的特征词，可以很好的代表这个句子的一部分特点，此时用这个词去替换UNK真是一个聪明的想法。

Experiment

Data

文章数据集用的是斯坦福的SQuAD。
同时实验建立了一个约束：
训练的句子和问题对至少有一个非停用词是相同的。最后<SOS>作为开头,<EOS>作为结束。

实验结果

与Baseline比较结果：

输入分别为句子答案来自：句子级别、段落、以及全文或者需要用到世界知识