[论文速记] EMNLP2019-Dependency-Guided LSTM-CRF for Named Entity Recognition

• EMNLP2019: Dependency-Guided LSTM-CRF for Named Entity Recognition
• 论文链接: https://www.aclweb.org/anthology/D19-1399.pdf
• http://www.statnlp.org/research/information-extraction

一. 介绍

Motivation

• 长距离的句法依赖关系，能够捕捉到对NER有用的非局部结构信息， 例如 Figure1 中的 Seminar 与 held；

• 大多数实体都可以在句法依赖树中构成一棵子树（例如 Figure1 中的 Event 实体)， 研究这样子树间的依赖边有助于捕捉到长实体中 words 间的语义关系；对于研究的子树信息来说，捕捉到句法历来关系中的长距离关系 是十分有必要的。

基于句法依赖树的以上特点，本文提出了 dependency-guided model for NER, 它能够捕捉到 NER 任务中 words 的上下文信息和 words 之间的长距离依赖； 文中提到，这应该也是第一篇在NER中使用完整垡依赖图的工作。

相关工作

相关工作中首先提出，目前已有工作指出了句法依赖中一些特定的依赖关系有助于NER任务的提升， 然后指出，前人工作并没有十分充地利用句法树结构，本文则重点研究，通过神经网络来利用句法依赖树的完整的结构信息

模型

本文模型是基于 BiLSTM-CRF 完成的，因此在模型部分开篇，作者先介绍了 BiLSTM-CRF 的相关背景知识，然后具体介绍了本文模型。

Dependency-Guided LSTM-CRF

• Input Representation: 每个词表示如下，其中， $w_h$wh​ 表示 $w_i$wi​ 在依赖树中的父节点，$v_r$vr​ 表示连接 $w_h$wh​ 和 $w_i$wi​ 句法关系的关系向量表示：

$u_i = [ w_i; w_h;v_r] , w_i = parent(w_i)$ui​=[wi​;wh​;vr​],wi​=parent(wi​)

其中，用 BiLSTM 生成了初始表示，关系向量通过随机初始化得到；对于在句子中本身是 ROOT 的词，令其本身作为自己的父节点，并加入一种新的关系类型ROOT.

Neural Architecture

得到初始表示后，新增一层LSTM并基于如下的结构将具有依赖关系的words进行融合, 图中的虚线代表了融合的方向，虚线的指向和具体的句法依赖关系一致:

具体的计算过程，用公式来表达则是如下:

Interaction Function

关于 Interaction Function 的选择，具体有如下方式:

• 自连接：即返回 $h_i$hi​ 本身，相当于叠加了一层 BiLSTM
• 拼接: 即将 $h_i$hi​ 与 其父节点的表示$h_{i_p}$hip​​ 直接拼接
• 相加: 即将 $h_i$hi​ 与 其父节点的表示$h_{i_p}$hip​​ 直接相加
• MLP: MLP的操作方法与GCN有些相似，在本文中采用这种方法，并对 self-dependency 和 其他依赖关系 分别使用 $W_1$W1​ 和 $W_2$W2​ 作为参数矩阵。

实验

实验部分首先介绍了实验所用数据，并展示了在数据集中统计的有关实体类型构成子树的比例、与依赖关系的比例等数据；* 然后，介绍了相关baseline模型和相关实验设置，最后展示了实验结果。

此外，进行了如下的消融实验，研究不同类型Interaction Functionn 和 依赖关系 对实验结果的影响

最后，在实验分析中探讨了 依赖关系信息对实验结果的影响 和 实体长度对实验结果的影响。

---

了解更多深度学习相关知识与信息，请关注公众号深度学习的知识小屋