End-to-EndOpen-Domain Question Answering with BERTserini 论文阅读笔记

论文链接:https://arxiv.org/abs/1902.01718


本文主要的创新点是将Bert与Anserini 相结合,构建了一个通过外部知识库从而辅助阅读理解的方法

首先使用英文*数据集,对文章、段落分别建立索引,对于一个新的问题,通过搜索引擎返回top K篇文章(段落),然后feed到 fine tune好的bert reader中生成答案范围,选取分数最高的段落最为最后的答案,实际上思路是很简单的,也就是通过Bert和搜索引擎构建了一个问答系统,但是简单高效,值得参考


系统的整个框架如下: 

End-to-EndOpen-Domain Question Answering with BERTserini 论文阅读笔记

论文结果如下图所示:
 

End-to-EndOpen-Domain Question Answering with BERTserini 论文阅读笔记

End-to-EndOpen-Domain Question Answering with BERTserini 论文阅读笔记

 实验发现,对句子构建索引生成的结果要好于对文章建立索引,原因显而易见是由于文章中包含过多无关紧要的内容