ICLR 2020录用Hulu AI研究团队面向大规模知识图谱的图推理算法相关论文

近日，Hulu AI研究团队的论文《Dynamically Pruned Message Passing Networks for Large-scale Knowledge Graph Reasoning》（作者：Xiaoran Xu, Wei Feng, Yunsheng Jiang, Xiaohui Xie, Zhiqing Sun, Zhi-Hong Deng）被深度学习领域顶级国际会议ICLR 2020录用并受邀在会议上做口头报告。论文提出了一种基于意识先验的图神经网络模型，在多个知识补全数据集上的结果表明，该方法的效果优于现有的知识补全方法。

ICLR的全称为International Conference on Learning Representations（国际学习表征会议），于2013年由深度学习三巨头其中两位Yoshua Bengio和Yann LeCun牵头创办，被学术研究者们广泛认可为深度学习领域的顶级会议。ICLR推行Open Review评审制度，所有提交的论文都会公开姓名等信息，并且接受所有同行的评价及提问，评价和收录论文的环节非常公开透明，因而每年最终收录的论文在业内的影响力和认可度相当高。

这篇论文的第一作者Xiaoran Xu于2017年加入Hulu担任研究员，主要研究方向是深度学习和机器推理，已发表过多篇顶会论文。

《Dynamically Pruned Message Passing Networks for Large-scale Knowledge Graph Reasoning》论文获取地址：

https://openreview.net/forum?id=rkeuAhVKvB

论文代码地址：

https://github.com/anonymousauthor123/DPMPN

在论文中，Hulu的AI研究团队提出了面向大规模知识图谱的图推理算法——动态剪枝消息传递网络 [1]。

无论在学界，还是在工业界，知识图谱虽然不是一个新概念，但是围绕它的讨论和应用一直都如火如荼。很多互联网公司都希望在自己的推荐系统或广告系统中引入基于领域知识的知识图谱，改善单纯依靠训练模型的情形，在训练样本不足的情况下尤其如此。另外，一些面向自然语言处理的应用也经常用到知识图谱。

那么，在深度学习大潮一波未平一波又起的当下，知识图谱以及基于它的图推理技术，究竟处于何种角色？是边缘角色，还是潜在的下一波潮头？

上图是知识图谱可视化的两个例子（NELL995数据集：AthletePlaysForTeam and OrganizationHiredPerson）。黄色大点代表一个关系三元组的头实体，红色大点代表成功预测出的尾实体，左右两图的查询关系分别是：“某运动员代表某队比赛”和“某组织雇佣某人”。

当前的知识图谱模型，例如用于解决知识库补全任务的方法，大都局限于两种设计思路：（1）基于表征向量的（隐式推理）；（2）基于推理路径的（显式推理）。本文提出基于动态子图的方法，将显示推理技术与图神经网络有效融合，开发出图版的注意力机制，用于引导动态剪枝的子图构建过程，充分发挥出子图的可解释性和计算效率，将经典知识库补全任务FB15K-237和WN18RR 等上的预测精度推向一个新高度。

本文的构思虽说是拿知识库补全任务做例子，但在其上探讨了一个更宏大的先验假设——意识先验（Consciousness Prior）[2]。在刚结束的NeurIPS 2019上，享有深度学习教父之称的图灵奖获得者Yoshua Bengio给了一个极富有启发性的大会主旨报告 [3,4]，指出当下深度学习系统不足以实现通用人工智能的弊端，提出基于深度学习的System 2 （通常认为机器学习模型实现了System 1的功能，快速、直觉式、不可描述的隐式过程）[4]，即在深度学习模型上构建推理式、可规划、循序执行的学习系统，来完成人类水平的高级认知任务。Bengio指出基于注意力机制的意识先验是构建System 2的主要指导原则。

意识先验的概念最早于2017年由Bengio提出。我们很早就注意到这个可能具有划时代意义的指路标，并积极研究其具体实现方案。我们所提出的动态剪枝消息传递网络（DPMPN）是当前为数不多的对意识先验假设的具体实现方案之一，并可能是目前基于图结构的唯一实现方案。我们设计出两层图神经网络架构，下层是基于全图随机抽样的图神经网络，上层是基于批输入多子图的图神经网络，连接两个图神经网络层并指导子图构建的是一种图版的注意机制，更准确的说，是一种注意力转移机制（Attention Transition Mechanism）。

我们发现，虽然意识先验是一个概念意义上的说法，但是在工程实践上有其明显的价值。意识先验中，从潜意识全状态到意识有限状态的计算过程，是一个解释塑造的过程。深度学习网络通常是一个超大的网络，动用大量的计算节点及上百万的参数，但是针对每一个具体的例子，人类通常只用很少若干点来作解释，大量非必要的信息被过滤掉。我们看到的解释部分，实际反映的是我们的意识状态，它是从下层的潜意识全状态中通过某种筛选机制自动涌现出的可自我识别的特征，即解释，并通过主观的有序组合形成我们的推理过程，让我们能够从纷繁复杂的信息中迅速捕捉到最相关特征，大大降低后续作显式推理所需的计算复杂度。因此，意识先验在工程实践上带来的两个好处是：可解释性或可扩展性（计算复杂度可控）。

在实验中，我们发现基于注意力转移机制动态剪枝出的子图，可以进行更精准的图推理，使得我们在Top 1,3的预测（即[email protected], [email protected]）大大好于state of art，但在Top 10上就不那么明显了。直觉上，这就像人的推理过程，对于可精准预测的结果，往往能给出100%的判断，比如做数学题；但是对于模糊的预测，推理的结果可能不比直觉上来的更准确，比如炒股。

在步入2020年的同时，深度学习也将迎来它的2.0时代。一方面，图神经网络的火热趋势只增不减；另一方面，推理是深度学习走向通用人工智能绕不过的一道坎。因此，二者如何结合引导深度学习的未来，值得我们期待。

参考文献来源：

1.https://openreview.net/forum?id=rkeuAhVKvB

2.https://arxiv.org/abs/1709.08568

3.https://nips.cc/Conferences/2019/Schedule?showEvent=15488

4.https://slideslive.com/38921750/from-system-1-deep-learning-to-system-2-deep-learning

5.https://en.wikipedia.org/wiki/Thinking,_Fast_and_Slow

长按关注Hulu招聘动态

收获“最佳职场”offer

↓ 点击“阅读原文”

直达官网申请职位