【GNN综述6】其他六篇综述
转载 https://zhuanlan.zhihu.com/p/120152289
目录
3. Deep Learning on Graphs: A Survey
1. Graph Neural Networks: A Review of Methods and Applications
2. A Comprehensive Survey on Graph Neural Networks
4. A Gentle Introduction to Deep Learning for Graphs
5.Machine Learning on Graphs: A Model and Comprehensive Taxonomy
6. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEY
7. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
8. A Survey on The Expressive Power of Graph Neural Networks
9. Relational inductive biases, deep learning, and graph networks
10. Adversarial Attack and Defense on Graph Data: A Survey
11. Heterogeneous Network Representation Learning: Survey, Benchmark, Evaluation, and Beyond
简介
近年来近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。
到目前，相关研究的已经非常多了，不过我们回过头来看思考和回顾一下：解决图(Graph)数据的方法和思路有那些，这些方法和思路跟图像文本有什么异同？各大顶会提出的图网络模型有什么样的基本假设和主要功能？常用数据集Cora, Citeseer, Pubmed等有没有统一一致的对比？图神经网络和图嵌入的区别的是什么？图网络能做什么，不能做什么，图网络表示的上界在哪里？节点分类，链接预测，图分类的算法和模型都有哪些？另外，有的图数据是非常小的，有的图数据（如微信社交网络，微博社交网络）是非常巨大的，那么针对小型图网络与巨型网络分别都有什么样的模型，研究的思路跟一般的图数据有什么区别？最后，未来还有什么样的研究方向？
本文整理了11篇图神经网络(GNN)相关的文献综述，这11篇相关的文献综述从不同的角度对图神经网络的发展进行了详细的总结和概述。下面是本文整理的列表:
1. Graph Neural Networks: A Review of Methods and Applications
2.A Comprehensive Survey on Graph Neural Networks
3.Deep Learning on Graphs: A Survey
4. A Gentle Introduction to Deep Learning for Graphs
5.Machine Learning on Graphs: A Model and Comprehensive Taxonomy
6. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEY
7. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
8. A Survey on The Expressive Power of Graph Neural Networks
9. Relational inductive biases, deep learning, and graph networks
10. Adversarial Attack and Defense on Graph Data: A Survey
11. Heterogeneous Network Representation Learning: Survey, Benchmark, Evaluation, and Beyond
https://blog.csdn.net/byn12345/article/details/105362863/
更新时间: 2020-05-07
3. Deep Learning on Graphs: A Survey
时间：2018年12月首发，2020年3月更新至第三版
作者：Ziwei Zhang等
单位：清华大学
篇幅：24页
链接：https://arxiv.org/pdf/1812.04202.pdf
从声学、图像到自然语言处理，深度学习在许多领域都取得了成功。然而，将深度学习应用于无所不在的图数据并非易事，因为图形是一种非欧的数据结构，具有独特的特性。近年来，这一领域的研究取得了很大的进展，极大地推动了图分析技术的发展。在本研究中，作者全面回顾了应用于图深度学习各种方法。总结了现有的图网络类型，将现有的方法分为五类: 图递归神经网络、图卷积网络、图自编码器、图增强学习和图对抗方法。
相关报道与解读：
图网络的五类模型(http://suo.im/5G6MdF )
以上五类模型的基本假设和主要功能
近年来不同神经网络的对比与总结
图自编码器总结与对比
图强化学习特性对比
图对抗学习特性对比
相关的学习框架总结：PyG; DGL; AliGraph; Euler
Cora, Citeseer, Pubmed, Reddit, PPI数据集模型性能全面总结
1. Graph Neural Networks: A Review of Methods and Applications
时间：2018年12月；2019年6月第四版
作者：Jie Zhou等
单位：清华大学
篇幅：22页，153篇参考文献
链接：https://arxiv.org/abs/1812.08434
该文总结了图神经网络领域的经典模型与典型应用（文本，图像，物理化学药学，知识图谱），并提出了四个开放性问题。对于希望快速了解这一领域的读者，不妨先从这篇文章看起。
很多学习任务都需要处理图数据，这些数据包含了元素之间丰富的关系信息。建模物理系统，学习分子指纹，预测蛋白质界面，以及疾病分类都需要模型从图形输入中学习。在从文本、图像等非结构化数据学习等领域，对提取出的句子依赖树、图像场景图等结构进行推理是一个重要的研究课题，也需要图形推理模型。图神经网络(GNNs)是一种连接主义模型，它通过在图的节点之间传递消息来获取图的依赖性。与标准神经网络不同的是，图神经网络保留了一种状态，这种状态可以用任意深度表示邻居的信息。虽然原始图神经网络很难训练成定点，但是最近在网络结构、优化技术和并行计算方面的进展使得利用它们进行成功的学习成为可能。
各类的图神经网络的Aggregator和Updater
图网络相关的应用
文章最后提出了图神经网络领域的四个开放问题：1. 浅层结构。经验上使用更多参数的神经网络能够得到更好的实验效果，然而堆叠多层的 GNN 却会产生 over-smoothing 的问题。具体来说，堆叠层数越多，节点考虑的邻居个数也会越多，导致最终所有节点的表示会趋向于一致。2. 动态图。目前大部分方法关注于在静态图上的处理，对于如何处理节点信息和边信息随着时间步动态变化的图仍是一个开放问题。3. 非结构化场景。虽然很多工作应用于非结构化的场景（比如文本），然而并没有通用的方法用于处理非结构化的数据。4. 扩展性。虽然已经有一些方法尝试解决这个问题，将图神经网络的方法应用于大规模数据上仍然是一个开放性问题。相关报道与解读：图神经网络综述：模型与应用(http://suo.im/5V9dkJ, 机器之心)
2. A Comprehensive Survey on Graph Neural Networks
时间：2019年1月首发，2019年12月第四版
作者：Zonghan Wu等
单位：悉尼科技大学等
本文偏向图模型的全面总结，与第一篇可以互补来看。论文对图网络提出了新的分类体系：图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。确定了图神经网络和网络嵌入之间的区别，并在不同的图神经网络架构之间建立了联系。
“图嵌入旨在通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量空间，以便使用简单的机器学习算法（例如，支持向量机分类）进行处理。许多图嵌入算法通常是无监督的算法，它们可以大致可以划分为三个类别，即矩阵分解、随机游走和深度学习方法。同时图嵌入的深度学习方法也属于图神经网络，包括基于图自动编码器的算法（如DNGR和SDNE）和无监督训练的图卷积神经网络（如GraphSage）。下图描述了图嵌入和图神经网络在本文中的区别”该综述提供了在图数据上的现代深度学习技术的全面概述。对每一种类型的图神经网络，提供了表征算法的细节描述，并做了必要的对比和对应算法的总结。这篇综述提供了图神经网络的丰富资源，其中包括当前最佳算法、基准数据集、开源代码和实践应用。这篇综述可以作为理解、使用和开发不同实际应用的深度学习方法的实践指南。这篇综述还强调了已有算法的当前限制，指出了这个快速发展领域未来的可能方向。
RecGNNs and ConvGNNs相关总结
GAE相关总结
常用Benchmark数据集总结
相关报道与解读：
- https://zhuanlan.zhihu.com/p/75307407 ；
4. A Gentle Introduction to Deep Learning for Graphs
时间：2019年12月
作者：Davide Bacciu等
单位：Department of Computer Science, University of Pisa
篇幅：55页，共计131篇参考文献
链接：https://arxiv.org/pdf/1912.12693.pdf
图、图网络的研究一个经典的并且长期存在的主题，最近已与为深度学习结合引起了相关研究人员的广泛兴趣。相关研究的数量和广度迅速增加，但是缺乏系统化的知识梳理以及缺少对早期研究的关注。这项文献综述旨在作为图深度学习领域的教程。
与最新文献不同的是，本文主要介绍了相关的概念和结构，方便读者学习和查看。论文采用了自上而下思路，介绍了DNGNs(深度神经图网络)、DBGNs(深度贝叶斯图网络)和DGGNs(深度生成图网络)，下面是论文的Roadmap。
5.Machine Learning on Graphs: A Model and Comprehensive Taxonomy
时间：最新《图机器学习》综述论文
单位：斯坦福谷歌
篇幅：38页pdf阐述最新图表示学习进展
链接：https://arxiv.org/abs/2005.03675
本文主要贡献---提出了一个图编码解码器模型(GRAPHEDM)，它将目前流行的图半监督学习算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和图表示的非监督学习(如DeepWalk、node2vec等)归纳为一个统一的方法。为了说明这种方法的一般性，我们将30多个现有方法放入这个框架中。
在这项工作中，我们扩展了Hamilton等人提出的编码-解码器框架，并介绍了一个通用的框架，图编码解码器模型(GRAPHEDM)，它允许我们将现有的工作分为四大类: (i)浅嵌入方法，(ii)自动编码方法，(iii) 图正则化方法，和(iv) 图神经网络(GNNs)。此外，我们还介绍了一个图卷积框架(GCF)，专门用于描述基于卷积的GNN，该框架在广泛的应用中实现了最先进的性能。这使我们能够分析和比较各种GNN，从在Graph Fourier域中操作的方法到将self-attention作为邻域聚合函数的方法[111]。我们希望这种近期工作的统一形式将帮助读者深入了解图的各种学习方法，从而推断出相似性、差异性，并指出潜在的扩展和限制。尽管如此，我们对前几次综述的贡献有三个方面
1、介绍了一个通用的框架，即GRAPHEDM，来描述一系列广泛的有监督和无监督的方法，这些方法对图形结构数据进行操作，即浅层嵌入方法、图形正则化方法、图形自动编码方法和图形神经网络。
2、综述是第一次尝试从同一角度统一和查看这些不同的工作线，我们提供了一个通用分类(图3)来理解这些方法之间的差异和相似之处。特别是，这种分类封装了30多个现有的GRL方法。在一个全面的分类中描述这些方法，可以让我们了解这些方法究竟有何不同。
3、为GRL发布了一个开源库，其中包括最先进的GRL方法和重要的图形应用程序，包括节点分类和链接预测。我们的实现可以在https://github.com/google/gcnn-survey-paper上找到。
6. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEY
时间：2019年6月作者：Mital Kinderkhedia
单位：Department of Statistical Science, University College London
篇幅：22页，139篇参考文献
链接：https://arxiv.org/pdf/1906.02989.pdf
深度神经网络在目标识别，图像分类和自然语言处理领域显示出了巨大的成功。但是，如何用深度学习设计可学习并且能够有效输出的图网络结构仍然是一个需要研究问题。本文综述的目的是总结和讨论图数据表示学习方法的最新研究进展。
本文首先确定图数据的常用类型，然后回顾图论基础。接下来讨论了图核方法与神经网络之间关系。然后，确定用于学习图数据表示的主要方法，即：内核方法，卷积方法，图神经网络方法，图嵌入方法和概率方法。该部分讨论了每种方法下的各种方法，并通过简要讨论图表示学习未来研究的内容。下面是本文讨论的相关图数据
图论中部分基本的概念
7. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
时间：2019年8月首发作者：Jiawei Zhang
单位：Information Fusion and Mining Laboratory
篇幅：30页，参考文献9
链接：https://arxiv.org/abs/1908.00187
研究的图数据通常可分为两种主要类型，即小型图网络与巨型网络，它们在大小，编号和标签注释方面差异很大。在本文中，作者对于这两种不同类型的图数据，介绍近年来引入的图神经网络。更具体地说，本文介绍的图神经网络包括IsoNN [4]，SDBN [7]，LF＆ER [6]，GCN [3]，GAT [5]，DifNN [8]，GNL [1]，GraphSage [2]和seGEN [9]。在这些图神经网络模型中，最初为小图提出了IsoNN，SDBN和LF＆ER，而其余的则最初为巨人网络提出了。
小规模图网络的方法一览
大规模图网络学习方法一览
大规模图网络下采样方式的图嵌入
8. A Survey on The Expressive Power of Graph Neural Networks
时间：2020年3月
作者：Ryoma Sato
作者单位：Kyoto University / RIKEN AIP
篇幅：41页
链接：https://arxiv.org/abs/2003.04078
图神经网络到底有多么的强大呢？来自日本京都大学学者从较为理论的角度写了一篇相关的研究综述，主要探究图网络与WL test的关系，以及图网络能够解决的问题和图网络不能够解决的问题。
图神经网络是解决各种图学习问题的有效的机器学习模型。尽管它们取得了经验上的成功，但是GNNs的理论局限性最近已经被揭示出来。因此，人们提出了各式各样的GNN模型来攻克这些限制。在该研究综述中，作者全面概述了GNNs的表达能力和可证明的强大的GNNs变体。下面是本文的主要章节：Section 2 GNN不能判别的例子; Section 3 GNN与WL algorithm的联系; Section 4 GNN能够和不能够解决的组合问题; Section 5 GNN, WL algorithm 以及 distributed local algorithm的关系
9. Relational inductive biases, deep learning, and graph networks
时间：2018年6月首发；2018年11月第三版
作者：Peter W. Battaglia等
单位：1DeepMind; 2Google Brain; 3MIT; 4University of Edinburgh
篇幅：40页链接：https://arxiv.org/pdf/1806.01261.pdf
这篇文章联合了DeepMind、谷歌大脑、MIT和爱丁堡大学的27名作者（其中22人来自DeepMind），用37页的篇幅，对关系归纳偏置和图网络（Graph network）进行了全面阐述。 在论文里，作者探讨了如何在深度学习结构（比如全连接层、卷积层和递归层）中，使用关系归纳偏置（relational inductive biases），促进对实体、对关系，以及对组成它们的规则进行学习。论文提出了一个新的AI模块——图网络（graph network），对以前各种对图进行操作的神经网络方法的推广和扩展。图网络具有强大的关系归纳偏置，为操纵结构化知识和生成结构化行为提供了一个直接的界面。作者还讨论了图网络如何支持关系推理和组合泛化，为更复杂、可解释和灵活的推理模式打下基础。
相关报道与解读：图网络让深度学习也能因果推理（http://suo.im/5V9FBj）
10. Adversarial Attack and Defense on Graph Data: A Survey
把对抗思想应用到图数据是一个自然的过程，而且其在具体应用场景中也有广泛的案例，例如在在线社交网络中，水军账户通过关注正常账户，发布日常内容，来降低自己在社交网络的中可疑度，从而避免被检测到而封号。图数据对抗攻击的定义是：给定一个图（节点和边），通过修改这个图，使得这种修改在不被察觉到情况下，能够降低算法（例如节点分类和链接预测）在图数据上面的表现。和优化问题相似，攻击方的目标是在一定约束的条件下最大可能地干扰算法的表现。在KDD 2018 [1]的文章中，作者将图被修改之后带来的变化定义为perturbations（扰动），即攻击者对图数据的攻击后的扰动必须满足与一些约束。例如，我们加边或者减边不能太多条，要保持图的基本结构等等，这是对抗攻击实现的前提。[1] Zügner, Daniel, Amir Akbarnejad, and Stephan Günnemann. "Adversarial attacks on neural networks for graph data." In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 2847-2856. ACM, 2018根据图数据的特点，可以图数据对抗攻击任务分为三类：
- 节点相关的任务（Node-related Task）：对节点分类任务还有对节点嵌入（node embedding）的攻击都属于节点层面的攻击，其目的是让分类器分错，降低其精确率或者召回率。因为节点分类是目前图数据的主要任务，因此大部分图数据对抗攻击论文都有研究到节点分类任务；
- 链接相关的任务（Link-related Task）：链接预测（Link Prediction）是图数据上面的另一个主要任务，推荐系统，知识图谱，社交网络都用到它。对于链接层面的攻击，主要目的让算法预测到错的链接目标；
全图相关的任务（Graph-related Task）：全图相关的任务主要是对整个图的分类，常见于对生物结构的分类任务。一般是学习图整体结构的低维嵌入，然后进行分类相关的章节目录 - section 3: 从各种视角对当前的攻击方法进行分类。
- section 4：对典型的算法进行回顾。
- section 5: 根据防御策略对当前的防治措施进行分类，并且对每一类中的代表性算法进行回顾。
- section 6: 基于我们开发的知识库进行相关的研究和探讨，该知识库可以对基于图的攻击和防御提供一个全面的理解。
- section 7: 对该领域未来的方向和前景进行探讨。
相关报道与解读：【综述】基于图的对抗式攻击和防御，附22页论文下载
11. Heterogeneous Network Representation Learning: Survey, Benchmark, Evaluation, and Beyond
时间：2020年4月1日
作者：Carl Yang
单位：UIUC等
这篇论文文章结构如下，第2节首先介绍作者提出的通用HNE范式。随后，第3节对代表性模型进行了概念上的分类和分析。然后，在第4节中提供了基准数据集，并进行了深入的分析。在第5节中，对10种常用的HNE算法进行了系统而全面的实证研究，对HNE的发展现状进行了评价。第六部分是对未来HNE平台使用和研究的展望。
异构网络示例
1、算法分类
Proximity-Preserving Methods
如前所述，网络嵌入的一个基本目标是捕获网络拓扑信息。这可以通过在节点之间保留不同类型的邻近性来实现。在HNE中，有两类主要的接近性保护方法:基于随机步法的方法(灵感来自DeepWalk[49])和基于一阶/二阶接近性的方法(灵感来自LINE[72])。
Message-Passing Methods
网络中的每个节点都可以将属性信息表示为特征向量xu。消息传递方法的目标是通过聚合来自u邻居的信息来学习基于xu的节点嵌入eu。在最近的研究中，图神经网络(GNNs)[37]被广泛用于促进这种聚合/消息传递过程。
Relation-Learning方法
异类网络中的每条边都可以看作是一个三元组(u, l, v)，由两个节点u, v∈v和一个边缘类型l∈TE(即。，实体和关系，用KG表示)。关系学习方法的目标是学习一个评分函数sl(u, v)，该函数对任意三元组求值并输出一个标量来度量该三元组的可接受性。这种思想在KB嵌入中被广泛采用。由于已经有关于KB嵌入算法的调查[81]，我们在这里只讨论最流行的方法，并强调它们与HNE的联系。
基准
在这项工作中，作者对各种现有的HNE算法进行了全面的调研，并提供了基准数据集和基线实现，以方便今后在这方面的研究。尽管HNE已经在各种下游任务中表现出了强大的性能，但它仍处于起步阶段，面临着许多尚未解决的挑战。在这项工作中，作者对各种现有的HNE算法进行了全面的调研，并提供了基准数据集和基线实现，以方便今后在这方面的研究。尽管HNE已经在各种下游任务中表现出了强大的性能，但它仍处于起步阶段，面临着许多尚未解决的挑战。
实验分析
未来研究方向
文本对多个现有的HNE算法进行了分类，并提供了benchmark数据集和baseline方法，以易于这一方向后续工作的开展。接下来简单讨论一下当前HNE的局限性和值得探索的几个方向。
（1）Beyond homophily(趋同性)
正如式（1）所示，当前的HNE算法利用了网络的趋同性。最近的针对同质图的研究结合了位置(positional)和结构(structural)的嵌入，未来可以探索如何将这样的设计和范式推广到HNE中。
特别地，在异质图中，相对位置和节点的结构角色可使用不同的meta-paths或meta-graphs进行度量，这就可以利用更丰富的信息。但是，这样的考虑同样引入了有关计算难度的挑战。
（2）Beyond accuracy
大多数现有的HNE方法只是关注于算法在下游任务的准确率。未来应该进一步研究HNE的高效性(efficiency)和可扩展性(scalability)，时间适应性(用于动态网络)，鲁棒性(面向对抗攻击)，可解释性，不确定性(uncertainty)，公平性(fairness)。
（3）Beyond node embedding
已经有同质图上针对图级别的和子图级别的嵌入算法的相关研究，但是很难在异质图上应用。尽管HIN2Vec研究了元路径的嵌入，以提升节点的嵌入表示。但是直接应用异质网的上下文对图级别和子图级别的嵌入学习还有待进一步研究。
（4）Revisiting KB embedding
KB嵌入和HNE主要区别在于节点和连边类型的数量。直接将KB的嵌入学习方法用于异质网的话，没有考虑到有丰富语义信息的元路径，直接将HNE应用到KB也是不现实的，因为KB元路径的数量是指数级别的。
未来可以研究这两组方法和这两种类型数据的交互。
例如，如何将异质图中的元路径思想与KB中的embedding transformation相结合，以为HNE提供更多的语义感知的转换操作(semantic-aware transformation)？
如何为KB的嵌入学习设计基于截断的随机游走方法(truncated random walk)，以学习到包含高阶关系信息的嵌入表示？
（5）Modeling heterogeneous contexts
异质网的嵌入学习主要是对不同类型的节点和边进行建模。然而，如今的网络中可能包含丰富的内容信息，这些信息为节点、边和子网络提供了上下文信息。
因此，如何通过多模态的内容和结构的集成来对多方面(multi-facet)环境下的异构信息交互进行建模，是一个具有挑战性但值得研究的方向。
（6）Understanding the limitation
虽然HNE(以及其他的基于神经网络的表示学习模型)在多个领域中都有着很好的表现，但是我们还需要理解它的一些潜在的局限性。
例如，在什么情况下流行的HNE算法比传统的网络挖掘方法(例如 path counting, 子图匹配, 非神经的或线性的模型)表现更好？如何联合这两种类型的方法的优点？
此外，已经有一些针对同质网的神经网络的背后数学机制的深入研究(例如 smoothingm, 低通滤波器, invariant and equivariant变换)。本工作对现有的HNE模型进行了统一整理，也有助于促进对HNE的能力和局限性的进一步理论研究。
▼更 多▼
图网络|图神经网络相关资料全面总结——图网络如何入门（干货预警）？