---

一、介绍

概览

研究动机：现实应用中，大规模的图数据往往是动态的而不是静态的。新的节点和边会随时出现。而当这种情况发生后，并不容易决定是重新训练模型还是在原有模型的基础上进行训练。作者将经过预训练的GNN和从头再训练的GNN进行了对比，对于新插入的节点和边，经过预训练的GNN性能强于在新插入的节点和边的图数据上进行重新训练的GNN。

本文中，作者创建了一个专用实验来评估图神经网络的推理能力。作者将网络模型应用于两种训练测试设置，一个有大量含标签的节点，另外一个只有少许的节点有标签。在训练之后，会向graph中插入新的节点和边，然后模型再进行少许的参数更新。作者仔细分析了每个推断时期后的测试准确性，同时比较了预训练与未预训练的网络性能。作者将GCN，GAT，GraphSAGE分别进行了实验。作者进行了60个实验，每个实验100次重复，以减轻随机效应。 作者发现，预训练对于所有的模型是确实有益的。 这个结果适用于两个训练测试设置，带有多个标记节点的数据集，带有少许标记节点的数据集。
总之，本文的贡献：

1. 提供了一个实验装置来评估图神经网络的推理能力。
2. 提供的经验证据表明，预训练在两种情况下都有用：训练集测试集比率高或低时。

Inductive learning 与 Transductive learning

参考：link
Inductive learning：与其他类型的数据不同，图数据中的每一个节点可以通过变得关系利用其它节点的信息，这样就产生了一个问题，如果训练集上的节点通过边关联到了预测集或者验证集的节点，那么在训练的时候能否用他们的信息呢？如果训练时用到了测试集或者验证集样本的信息（或者说，测试集和验证集在训练的时候是可见的），我们把这种学习方式成为transductive learning。反之，成为Inductive learning。显然，我们所处理的大多数机器学习问题都是inductive learning。因为我们刻意的将样本集分为训练/验证/测试，并且训练的时候只使用训练样本。然而，在GCN中，训练节点手机邻居信息时用到了测试或者验证样本，所以是transductive的。

二、实验设置

在训练集中，只有两个节点都存在时，他们的边才存在。训练过程分为两步：首先，在经过标记的训练集上对模型进行预训练。之后，将新的节点和边加入图中然后进行少许的参数更新。并且新的节点并不引进新的标签。他们会提供特征并连接到有标签的节点。我们在每个推断时期之前和之后评估测试节点（这些节点是未见节点的子集）的准确性。 对于每个模型，我们进行了200个epoch预训练并与不进行预训练的情况进行比较。 在后一种情况下，训练在推理期间开始，这等效于每当插入新节点和边时从头开始进行训练。 这使我们能够评估预训练是否有助于将图神经网络应用于动态图。

实验结果：

可以发现经过预训练后模型的 推理能力显著增强

总结

作者的实验设置接近于实际应用，其中新节点会随着时间动态地出现。 并发现，在数据更改时保持一个模型并继续训练过程是处理动态图的有效方法。
即使将新的节点和边插入到图中，预训练的图神经网络仍可产生具有低方差的高精度。 该属性对于将图神经网络应用于现实世界中经常发现的大规模动态图是必不可少的。