network Embedding-DW方法总结
- DeepWalk
time: 2014
对图从一个节点开始使用random walk来生成类似文本的序列数据，然后将节点id作为一个个「词」使用skip gram训练得到「词向量」。
- LINE
LINE分析了1st order proximity和2nd order proximity，其中一度相似性就是两个点直接相连，且边权重越大说明两个点越相似，如图中的6和7；而二度相似性则是两个点之间共享了很多邻居，则它们的相似性就很高，如图的5和6。
2.1 LINE with First-order Proximity
联合概率分布：
经验概率分布：
最小化联合概率分布和经验概率分布：
2.2 LINE with Second-order Proximity
联合概率分布：
经验概率分布：
最小化联合概率分布和经验分布：
3. node2vec
DeepWalk中根据边的权重进行随机游走，而node2vec加了一个权重调整参数，最终生成的随机序列是一种DFS和BFS的结合，模型仍使用skip gram去训练。
假设已知游走路径已从t走到v,从节点v 走到下一个节点x按照转移概率\pi_{vx}选择对应的节点；\pi_{vx}=\alpha_{ p q}(t,x)·w_{vx}