arXiv综述论文“Graph Neural Networks: A Review of Methods and Applications”

arXiv于2019年7月10日上载的GNN综述论文“Graph Neural Networks:
A Review of Methods and Applications“。

摘要：许多学习任务需要处理图数据，该图数据包含元素之间的丰富关系信息。建模物理系统、学习分子指纹、预测蛋白质界面以及对疾病进行分类都需要一个模型从图输入学习。在其他如文本和图像之类非结构数据学习的领域中，对提取的结构推理，例如句子的依存关系树和图像的场景图，是一个重要的研究课题，它也需要图推理模型。图神经网络（GNN）是连接主义（connectionist ）模型，可通过图节点之间传递消息来捕获图的依赖性。与标准神经网络不同，图神经网络保留了一种状态，该状态可从其邻域以任意深度表示信息。尽管发现原始GNN对固定点难以训练，但是网络体系结构、优化技术和并行计算的最新进展已能做到成功学习。近年来，基于图神经网络变型的系统，例如图卷积网络（GCN）、图注意力网络（GAT）、门控图神经网络（GGNN），已在上述许多任务有所突破。本次综述对现有的图神经网络模型进行了详细的回顾，对应用程序进行了系统分类，并提出了四个未解决的问题，以供将来研究。

GNN的局限性在于：

1. 针对固定点迭代更新节点的隐状态效率低下。如果放宽不动点的假设，可以设计一个多层GNN以获得节点及其邻域的稳定表示。
2. GNN在迭代中使用相同的参数，而最流行的神经网络在不同的层中使用不同的参数，这是一种分层的特征提取方法。此外，节点隐状态的更新是一个串行过程，受益于RNN内核（如GRU和LSTM）。
3. 图边缘还有一些特征，这些特征无法在原始GNN有效建模。例如，知识图的边缘具有关系的类型，通过不同边缘传播的消息根据其类型而有所不同。此外，如何学习边缘的隐状态也是一个重要的问题。
4. 如果专注于节点的表示而不是图本身，则不适合使用固定点，因为固定点的分布表示会很平滑，并且区分每个节点的信息量较小。

各种GNN结构概览图如下：


GNN的不同变型如下所示：


图神经网络已在监督、半监督、无监督和强化学习设置的广泛问题域中进行了探索。 本文将应用划分为三种情况：（1）数据具有明确关系结构的结构化场景情况，例如物理系统、分子结构和知识图； （2）关系结构不明确的非结构场景，包括图像和文字等； （3）其他应用场景，例如生成模型和组合优化问题。 一些GNN的应用领域例子列表如下：


图网络（GN，Graph Network）设计基于三个基本原理：灵活的表示、可配置的块内结构和可组合的多块体系结构：

1. 灵活的表示方式。GN框架支持属性的灵活表示以及不同的图结构。全局、节点和边属性可以使用任意表示形式，但是实向量和张量是最常见的。可以根据任务的特定需求简单地定制GN块的输出。就图结构而言，该框架既可以应用于图结构明确的结构场景，也可以应用于相关结构被推断或假设的非结构场景。
2. 可配置的块内结构。GN块的功能及其输入可以有不同的设置，以便GN框架在块内结构配置中提供灵活性。基于不同的结构和功能设置，GN框架可以表示各种模型（例如MPNN，NLNN和其他变型）。
3. 可组合的多块体系结构。可以用GN块来构造复杂的体系结构。可以将共享或不共享参数的任意数量GN块按顺序组成起来。用于构建GN架构的其他技术也可能有用，例如跳连接、LSTM或GRU样式的门控方案等。

如图是GN块构成的不同结构：

下图是GNN应用的场景例子：

几个公开未解决的问题：

• 浅结构。
• 动态图。
• 非结构场景。
• 扩展性。