论文笔记：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks

才疏学浅，欢迎批评指正

1.基于远程监督的关系抽取（Distant Supervision for Relation Extraction）
$\qquad$与传统的关系抽取方法不同，远程监督关系抽取 利用知识库中的关系实例与非结构化文本进行对齐，自动构建训练语料，训练分类器，减少了关系抽取模型对于人工标注的依赖。
$\qquad$远程监督基于以下假设：
$\qquad$$\qquad$如果两个实体在知识库中存在某种关系，则包含该两个实体的非结构化句子均能表示出这种关系
$\qquad$例如Steve jobs与Apple在Freebase中存在founder关系，那么认为包含Apple和Steve Jobs的句子都能表达founder关系，并将这些句子作为训练语料的正例。

但基于远程监督的关系抽取方法也存在着明显的缺点

• 噪声数据：由于远程监督的假设过于肯定，会给训练数据中引入大量噪声数据，例如“Steve Jobs passed away the day before Apple unveiled iPhone 4S in late 2011”中“Steve Jobs”与“Apple”并没有表达出founder关系
• 关系抽取的准确率：与传统的关系抽取相同，基于远程监督的关系抽取也会因为分类器的好坏造成分类效果的不同

$\qquad$该方法首次由Mintz在2009年提出，在文献[1]中，Mintz首次将远程监督思想应用于关系抽取领域，以Freebase作为知识库，将关系实例与*中的文本进行对齐，形成训练语料并进行关系抽取。

2.论文浅尝
$\qquad$论文针对传统关系抽取模型中依赖NLP工具，造成的错误传播问题，提出使用piece-wise的卷积神经网络(PCNN);
针对远程监督中的错误标注问题，提出利用多示例学习的方式，抽取置信度高的训练语料训练关系抽取模型。

$\qquad$对于PCNN模型，与传统的卷积神经网络相比，在池化层，该模型根据实体的位置将feature map分为三段，对于每一段分别进行max pooling。

• Vector representation
  $\qquad$使用预训练的Word-Embeeding,以及Position Embedding形成单个词语的向量表示，将这些词语的向量表示拼接成句子的矩阵表示。位置特征与词语距离实体的位置相关，比如“son”距离“Kojo Annan”和“Kofi Annan”的距离为3和-2
  
• Convolution
  $\qquad$按照文中的表述，Zero Padding的值为1 , 卷积核的长为句子向量矩阵的长，宽为3，从上到下，单向滑动。
• Piecewise max pooling
  $\qquad$通过卷积后形成的feature map为一维向量，根据实体的位置将feature map分为三段，对于每一段分别进行max pooling，得到一个1*3的向量，最后将所有的卷积核的max pooling得到的向量相连，得到与输入矩阵大小无关的一维向量
• Softmax classifier
  $\qquad$利用Softmax 分类器进行类别判断

$\qquad$$\quad$对于多示例学习，文章认为每个包中置信度最高的实例代表这个包，将多示例学习与卷积神经网络相结合

• 初始化卷积神经网络，将对齐后的语料分成若干个包，每个包中包含若干个句子
• 将这些包分批送入卷积神经网络中
• 找到每个包中置信度最大的实例，代表当前的包
  
  $\qquad$ 其中$y_i$yi​表示第i个包所代表的关系类别，$m_i^j$mij​表示第i个包中的第j个句子
• 更新卷积神经网络,目标函数如下：
  
  上述过程也为PCNN的训练过程。

3.实验

与传统方法相比，本文提出的方法明显提供了抽取的效果，其中Mintz、MultiR、MIML分别为文献[1]、[2]、[3]中的方法

与使用原始CNN的方法相比，使用PCNN和使用多示例学习的方法可以明显提高抽取效果

参考文献
[1]Mike Mintz, Steven Bills, Rion Snow, et al. Distant Supervision for Relation Extraction without Labeled Data .2009
[2]Riedel S,Yao L,McCallum A. Modeling relations and their mentions without labeled text. 2010
[3]Hoffmann R , Zhang C , Ling X , et al. Knowledge-Based Weak Supervision for Information Extraction of Overlapping Relations. 2011