Compositional Vector Space Models for Knowledge Base Completion

来源

IJCNLP 2015
计算机科学系
马萨诸塞大学阿默斯特分校
Arvind Neelakantan, Benjamin Roth, Andrew McCallum

motivation

基于符号表示的知识推理方法需要大量的不同的路径作为特征，对于大型知识图谱，随着关系类型的增加，路径的个数快速增加。基于向量表示的一些方法通过计算向量的相似度反映语义的相似度，基于向量表示的关系预测模型是不基于路径的，但是基于向量表示的模型大多只能推理单个关系，不支持对相连关系的推理。本文提出了一个RNN关系推理模型。RNN关系推理模型支持多跳推理，并且支持zero-shot 知识补全。zero-shot 指的是在关系预测时的路径在训练时可能是没有遇到的。

模型

首先通过PRA模型获取需要的关系路径，这里默认已经得到关系路径
$\pi$π 是一条关系路径，$IsBasedIn->StateLocatedIn$IsBasedIn−>StateLocatedIn
上式显示了用向量表示一条路径的方法，$f$f 是一个非线性的函数， $W_{\delta}$Wδ​ 是关系$\delta$δ参数矩阵， $v_r$vr​表示一个关系向量

同理可以得到路径$\Pi$Π的向量表示
因此使用RNN模型得到一条路径的向量表示。
损失函数
、\

得到下面RNN模型的训练算法，其实就是一个很简单的使用min-batch的梯度下降算法

zero-shot KBC

zero-shot 指的是在关系预测时的关系在训练集中没有出现，为了解决zero-shot 的问题，在上述模型的基础上做如下两点变化：

1. 学习一个同意的composition 矩阵
   
2. 使用与训练的关系向量表示，在训练过程中不进行更新，在预测时的关系类型在训练时是不能看见的，因此这些关系向量表示不需要被更新

实验结果

zero-shot