论文笔记（9）：Large Scaled Relation Extraction with Reinforcement Learning

论文笔记：Large Scaled Relation Extraction with Reinforcement Learning

一、解决的问题

远程监督数据集中的句子并不直接标记，并且并非所有提及实体对的句子都可以表示它们之间的关系。例如，

[Obama]e1$[Obama{]}_{e_1}$ was born in the United [States]e2$[States{]}_{e_2}$

Relation : BornIn

使用远程监督去语料中匹配句子，

[BarackObama]e1$[BarackObama{]}_{e1}$ is the 44th President President of the [UnitedStates]e2$[UnitedStates{]}_{e2}$

在知识库中存在的元组是：

二、提出的方法

2.1 远程监督存在的问题

如下图所示

从KB中和*文本中对齐关系实体，自动产生大量扩展数据集，但是，句子没有被直接标注并且其中一些句子（比如图中第三个句子）的关系并不对。

2.2 强化学习

把关系抽取器看作是强化学习Agent，目标是获得更高的长期奖励。Agent输入bag的句子，输出它们抽取的一个一个的关系。论文将预测的句子的关系用于预测bag的关系，并于gold bag关系进行比较，以确定长期奖励。过程如下图所示：

在预测遇到NA时，基于以下假设：

:arrow_backward: When predicting the relation of a bag, the bag is NA relation when and only when all sentences in bag represents NA relation, otherwise, the bag is the real relation represent by its sentences(Riedel, Yao, and McCallum 2010)

2.3 论文贡献

• 应用强化学习方法来学习远程监督数据集上的句子关系提取器
• 受益于关系抽取器，bag sentences也被抽取，这对于预测bag关系很有帮助
• 在两种广泛使用的数据集上进行了两种实验，都获得了重要的提升

2.4 方法和过程

关系抽取器使用的是神经网络搭建的模型，作者说效果可以跟PCNN媲美，但是更加直观简单。模型结构如下图所示：、

给定一个原始句子输入，先将句子切分成token，然后将token变成向量。作者没有使用piece-wise最大池化，而是使用传统最大池化，但是将最大池化的结果与两个实体的位置嵌入连接起来。最后用多层感知机输出每个关系（包括NA）的概率。

实验参数使用的是（Zeng et al. 2015）的设置