Open Relation Extraction: Relational Knowledge Transfer from Supervised Data to Unsupervised Data

 Abstract

 作者提到了OpenRE的概念，就是抽取训练集里面的不存在的关系，首先，表述了大多数人抽取未知的关系仅仅定义成无监督学习的方式，然而作者说，像知识图谱中存在的关系和一些人工高质量标注的数据没有利用上，为了能用上这些数据，作者提出了弱监督的方案，把已经存在的关系进行迁移学习新的关系，实验表明得到了SOTA的效果。

Introduction

 在关系抽取中，监督模型已经取得了很大的成功，但是缺点就是标注耗费时间人力，因此很多模型开始利用现有的知识图谱来进行关系标注，也是远程监督，但远程监督的方式：优点是省去了大量的劳动力，存在的缺点是加入了大量的噪音，但是这些关系抽取的模型都具有一个共同的局限性，就是只能抽取定义好的类别，比如定义了100个类别，但是在在一个数据集中很难定义那么多关系类别，因此本文章提出了利用关系知识的迁移，来识别未知的关系类型。最后作者总结了两点主要贡献：

1.提出了针对OpenRE的知识迁移模型RSN，该模型可以很好的识别未知的关系。

2.在FewRel数据集和FewRel Distant数据集上进行迁移学习，都达到了SOTA的效果。

Related Work

 该部分主要说了，OpenRE产生的原因及现状的研究，然后作者提到了Few-shot Learning的概念，也是作者的灵感来源，最后说了下 Bair等人提出利用目标类别的种子关系来进行聚类，然而作者提出的半监督RSN是不需要种子关系的。

Methodology

开局先上图上公式（这部分比较简单）：

普通的输入，普通的CNN，普通的maxpooling，普通sigmoid，普通的相似度，普通的交叉熵（公式5），普通的迪斯科，额。。。，跑题了。

左图（a）为监督的RSN，（b）为弱监督的RSN，经过上面的交叉熵和条件上这样不就可以达到把样本区分开了，这样就结束了？NO，事实没有你想的那么简单，尽管理论上这样是可以的，但是真实训练的时候条件熵表现是非常差的，主要是神经网络的强大的拟合性，导致不能泛化，从而导致效果下降。那么这时作者的亮点来了，GAN就完了，添加虚拟对抗来缓解条件熵所带来的严重缺失泛化性，既然你一直想着取聚合到一块，我给你一个loss不让你去迅速的聚合，然后慢慢的，在这两个loss进行相互博弈，直到到达一个比较好的结果，即下面的loss（公式7，8）来控制。

最终得到最终的loss(公式9) 

那么在上面是在golden标注上进行的，那再远程监督的数据上进行呢，我的loss是不是应该发生点什么变化，是的，作者去掉了再远程监督的数据上的虚拟对抗loss，为什么要丢掉训练的数据的虚拟对抗训练，是应为虚拟对抗训练可以放大来自错误标签的噪声，而且在他们的实验中也发现添加这个对抗loss的话，会影响模型的性能。在这里他们又补充了为甚不使用一些降噪的方法，首先就是，RSN这个模型具有容忍噪声的性能，首先，在训练的过程中采用了大量的负样本，然后，在后面的聚类中，是在关系实例密度较高的区域进行的，噪声的异常值不会太影响聚类的效果。

好了，讲到这里基本上已经结束了，拜拜，各位。