dbRNN论文笔记

《Jointly Extracting Event Triggers and Arguments by Dependency-Bridge RNN and Tensor-Based Argument Interaction》

基于桥依赖RNN和论元张量交互的事件抽取联合模型

1.摘要

传统的事件抽取很大程度上依赖词汇和句法特征，需要大量的人工工程，并且模型通用性不强。另一方面，深度神经网络可以自动学习底层特征，但是现有的网络却没有充分利用句法关系。因此本文在对每个单词建模时，使用依赖桥来增强它的信息表示。说明在RNN模型中同时应用树结构和序列结构比只使用顺序RNN具有更好的性能。另外，利用张量层来同时捕获论元之间的关系以及其在事件中的角色。实验表明，模型取得了很好地效果。

2.引言

现有的事件抽取模型大都没有利用句法特征，并且没有考虑到论元和论元之间的交互作用。观察结果表明联合建模所有候选论元可以更加全面的了解论元之间的关系，有助于论元的识别和分类。

本文提出了dbRNN模型，在bilstm单元的基础上增加了单词之间的依赖桥信息。然后在每两个候选论元上建立一个张量层，来获取论元之间的信息交互。并且在ACE2005上取得了目前最好的效果。

3.任务描述

可将事件抽取任务分为以下三个子任务：

1.触发词识别

2.参数标识

3.参数分类

4.方法

4.1 LSTM

递归神经网络考虑了上下文的信息，适合于序列建模。但是存在反向传播过程中会出现梯度消失和梯度爆炸的问题。为解决此问题，提出了LSTM单元。

 

4.2 BiLSTM

 

4.3 依赖桥

在这部分，提出了BiLSTM上的依赖桥；下图表示了一个句子的依赖解析树。这些依赖边所表示出来的时间、后果、条件、目的等信息被证实有助于事件抽取。

 

传统的RNN并不能直接利用依赖关系，因此本文在RNN的基础上加入了依赖边，称之为依赖桥。如下图所示：

 

为每种依赖关系（例如nsubj、dobj）分配一个权重；同一依赖关系的不同方向也有不同的权重。例如，“nsubj”的正向具有权重a+nsubj，反向具有权重a−nsubj。

在LSTM信息传播过程中，依赖桥信息主要影响LSTM单元的隐藏层。在第t步中，我们将链接到当前单元的依赖桥集表示为Sin。Sin中的每个元素都是一对（index，type），分别表示依赖边的源索引和依赖类型。然后将隐藏层计算为：

 

其中dt是一个新的门，为了避免依赖信息对原始信息的影响过大。dt的计算方法与其他门相同：

 

DB与以前的树型方法的主要区别是指它们都在单独使用树方法，而本文试图同时使用树方法和顺序方法。

4.4触发词提取

在提取事件触发器时，我们将句子中的每个名词、动词和形容词作为候选触发器。

长度为N的句子的编码表示是BiLSTM最后的正向和反向输出的串联，hs=[h→N，h←1]。然后我们将候选触发器ht的对应BiLSTM输出和句子的编码向量hs连接在一起，作为候选触发器的特征C=[ht，hs]。然后我们将特征输入多层感知器

 

再经过softmax分类，其中OT表示事件类型的概率。

4.5论元分类

在对论点进行分类时，我们需要考虑论点与论据之间的相互作用。论元-论元的交互作用是论元识别和分类的重要环节。直观地说，当把所有候选论据综合考虑时，它们之间的区别和共性更容易被发现，这有利于论据的识别和分类。参数-参数交互包括各种类型的参数关系，如两个候选参数是否具有相同的依赖父项、两个候选参数是否语义一致等。

Sha等人（2016）提出将论证-论证互动分为两类：积极和消极。在实际情况下，这两个交互只能决定是否识别参数。至于扮演哪个角色，我们需要更复杂的互动，比如“这两个候选论点是否有相反的角色”。在本文中，我们提出用向量来表示相互作用。

当同时考虑所有候选参数时，如下图所示，我们将其所有对应的隐藏层（BiLSTM的输出）收集为一个矩阵H，其中nA是候选参数的数量。

 

对于文章中的方法笔者没有进行后续的解读，感兴趣的小伙伴可以自己去了解。

5.实验

实验结果如下：