Global Normalization of Convolutional Neural Networks for Joint Entity and Relation Classification

这篇是2017年EMNLP收录的论文。
本文提出了一种新的实体分类(EC)和关系抽取(RE)的方法。如果对BiLSTM+crf有一定了解的话理解这篇论文就容易得多,因为他的整体思想是基于BiLSTM+crf的。
作者提出关系抽取对命名实体的识别有很大的作用,比如可以消除歧义问题,如mercedes可以是person,location,organization,但当提取出关系(live-in)后,就可判定它是location。

  • 输入输出
    整个网络的输入输出关系图:
    Global Normalization of Convolutional Neural Networks for Joint Entity and Relation Classification
    输入为一个句子和一个个单词(短语)对(word1,word2)作为候选实体对,每个单词对是一个样本,输出是(实体标签1-关系-实体标签2)。
  • 训练
    训练和bilstm+crf原理一样。

  • 模型
    模型图:
    Global Normalization of Convolutional Neural Networks for Joint Entity and Relation Classification

如图对于每个样本(单词短语对),把输入语料按单词对分割成几部分,用word embedding把短语表示成矩阵,然后经过cnn提取特征。实体之间共享权重,上下文之间共享权重。然后把得到的实体和上下文进行组合,构成三个输入,分别是实体,关系,实体,最后得到相应的三个softmax输出,剩下的工作就是crf层输出结果,这部分和传统的bilstm+crf的crf层一样。

  • 预测
    预测时,输入是句子和一个个实体对,因为一个实体可能存在于多个实体对中,所以对于同一个实体可能会产生多个预测结果,文中采用多数表决方法决定实体的类别。

  • 实体-关系矩阵
    Global Normalization of Convolutional Neural Networks for Joint Entity and Relation Classification
    利用实体-关系矩阵进行评价,它是个上三角矩阵,是以前就提出的。

  • 问题

    1. 输入的实体单词对甚至短语对怎么得到?分词?感觉分词效果会对实体识别效果影响很大。不如传统的字符级别的实体识别。

参考文献:
Global Normalization of Convolutional Neural Networks for Joint Entity and Relation Classification. https://arxiv.org/pdf/1707.07719.pdf