文献阅读（26）DySAT: Deep Neural Representation Learning on Dynamic Graphs via Self-Attention Networks
本文是对《DySAT: Deep Neural Representation Learning on Dynamic Graphs via Self-Attention Networks》一文的浅显翻译与理解，如有侵权即刻删除。
更多网络表示学习相关文章，请移步：文献阅读总结：网络表示学习
Title
《DySAT: Deep Neural Representation Learning on Dynamic Graphs via Self-Attention Networks》
——WSDM2020
Author: Aravind Sankar
总结
文章提出了DySAT算法，主要分为三个模块：结构自注意力层，时间自注意力层，图环境预测。算法在每个静态快照上学习结构嵌入，在多个静态快照上学习时间嵌入，并最终通过损失函数完成对图环境的预测。此外，文章在两个层上使用了多头注意力机制，以避免预测误差，最终的实验全部围绕link prediction这一任务展开，猜想是对应了对图环境的预测。
1 结构自注意力层
该层输入为一个静态快照对应的邻接矩阵，以及节点的one-hot向量。通过注意力机制的加权，将节点的直接邻居嵌入进行聚合。
2 时间自注意力层
该层输入为从上层学得的节点嵌入，并与关于时间的位置编码结合，最终形成了输入的节点嵌入，即：
其中h即为上层生成的z，p为关于时间的位置编码，因为该层是在多个静态快照上进行的聚合。
在进行时间层面的嵌入聚合时，应当注意算法通过M来控制时间范围。即给定一个当前时间j，只有比j时间早的嵌入能够被聚合，此时M为0，否则当时间比j晚，即还没有发生时，M为负无穷，从而该时间段的exp化无线趋近0.不对注意力权重产生影响。
3 多头注意力机制
多头注意力可简单理解为，设置多个权重矩阵，对上述的计算执行多次，并将结果以某种方式结合。算法在两个层上都执行了该机制，形式如下：
4 图环境预测（损失函数）
给出固定长度的随机游走，损失函数鼓励出现在同一游走中的节点具有相似的嵌入：