文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects

本文是对《Inductive and Unsupervised Representation Learning on Graph Structured Objects》一文的浅显翻译与理解,如有侵权即刻删除。

更多网络表示学习相关文章,请移步:文献阅读总结:网络表示学习

Title

《Inductive and Unsupervised Representation Learning on Graph Structured Objects》

——ICLR2020

Author: Lichen Wang

总结

文章提出了SEED(Sampling, Encoding, and Embedding distributions)算法,目的在于利用归纳式无监督的学习方法得到全图的表征。

给出图的拓扑结构,文章利用带有最早遍历时间的随机游走得到图的多个子图,并训练自编码器学习子图的向量表示,最终将得到的向量表示整合为全图表征。给出两个图的全图表征嵌入,算法学习了核函数来计算图之间的距离。

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects
针对SEED算法以及WEAVE游走,文章还进行了相关的理论证明。

1 Sampling

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects
与常见的Vanilla随机游走不同,算法提出了带有最早遍历时间的随机游走WEAVE,这种方法会记录节点首次被访问的时间,当节点再次被访问时时间不会变化。结合访问节点和时间信息得到的游走序列就能够正确判断游走路径,也即是图的多个子图。

2 Encoding

得到随机游走序列后,算法训练自编码器对其进行编码为子图对应向量:

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects
f(·)即为编码函数,得到向量z后,放入解码函数g(·)中,就得到了推断出的随机游走序列,通过计算原序列和推断序列的损失并不断优化,最终就能够训练自编码器,用来产生子图向量:

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects

3 Embedding Distribution

给出图G和H,根据它们所对应的子图向量序列,可以计算两图之间的差值,文章选用了MMD算法:

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects
由于使用MMD直接进行计算较为复杂,因此选择使用核函数来简化计算,核函数的通用形式如下:

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects
在核函数的选用上有两种方法,其中Identity kernel形式如下:

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects
此外,还有Commonly adopted kernels形式,这种形式的核函数需要进行学习,有:

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects
则通过计算核函数与MMD之间的差值作为损失值并优化,就得到了最终的损失函数为:

文献阅读(29)ICLR2020-Inductive and Unsupervised Representation Learning on Graph Structured Objects