RKGE Recurrent Knowledge Graph Embedding for Effective Recommendation 论文
Paper-RKGE [ Recurrent Knowledge Graph Embedding for Effective Recommendation ]
Abstract
关于KG应用于推荐，现行方法多依赖于KG的手工特征工程
本文提出RKGE，一种KG嵌入方法，能够自动学习实体间路径的语义表示，以描述用户对物品的偏好 ；
RKGE使用循环网络技术[recurrent network]，通过一批循环网络对链接相同实体对的路径的语义进行建模，并将其融合到推荐中；
并使用池化操作[pooling operator] 区分不同路径在描述用户对物品偏好时的显著性。
RKGE在提升推荐表现的同时，还提供了更加具有解释性[meaningful explanations] 的推荐结果。
KeyWords
KG、RNN、Semantic Representation、Attention Mechanism
Introduction
借用KG的辅助信息能够更好的进行推荐，而不是仅使用用户-物品交互。
现有方法：
利用来自KG中路径[meta path,etc] 的物品相似度扩展LFM [latent factor model] ；依赖于手工特征工程和领域知识，且并不完整
由表示学习RL[representation learning] 的流行，工作[44][CKE] 利用kG嵌入来捕获实体语义以供推荐；与上述方法不同，基于KG嵌入的方法利用一个实体与其属性的一级自我中心网络[one level ego network] 自动学习实体在KG中的嵌入；局限是忽略了路径连接的实体之间的语义关系
例子：
Bob对SPR的偏好推导：
1.Bob -评分- TT -分类为- DRAMA -分类- SPR
2.Bob -评分- TT -导演是- Steven Spielberg -导演- SPR
这些路径捕获了两种语义关系：1.属于统一类型 2.由统一导演执导
连接同一实体对的不同路径通常具有不同的语义关系；它们在描述用户偏好时也拥有不同的重要性。
总结：
考虑使用循环网络[recurrent network] 学习实体关系中的语义；
循环网络能够对不同长度的序列进行建模，特别适合于建模路径，如KGs中不同数量实体的序列；更重要的是，循环网络不仅可以对实体语义进行建模(通过嵌入层)，还能对整个路径进行编码，从而为实体和实体关系的表示提供统一的学习方法。
提出一个统一循环网络知识图谱嵌入模型 RKGE：
RKGE首先从KG中自动挖掘实体对之间的所有合格路径，然后通过一批循环网络对其进行编码，每条路径由一个循环网络建模。批处理中的递归网络共享公共参数以避免过拟合。因此，RKGE能够灵活捕获连接实体对的不同长度的不同数量的路径。
然后，它使用一个池化[pooling] 操作来区分不同路径对于描述用户对项的偏好的重要性。
最后将推荐层与网络无缝集成，以通过端到端方式对RKGE进行训练。
是第一个采用循环网络来捕获KG中实体和路径的语义以进行有效推荐的工作。
Related Work
Graph based Methods
[7] 在KG上应用扩散**技术[spreading activation technique]。
[20,21] HeteRS 解决基于事件的社交网络中的推荐问题；将推荐问题转化为节点邻近性计算问题，利用，马尔科夫链[Markov chain] 进行求解。
[2] 对KG进行逻辑推理[logic reasoning] 来推断用户偏好。
[3] RERA，采用个性化页面排名[Personalized Page Rank] 利用KG。
这些方法都基于随机漫步[random walk] 的底层技术，只考虑了KG的拓扑结构，没有考虑到建模实体和关系间的语义。
Meta path based Methods
元路径[meta path] 预先定义了路径的特定格式和长度，以捕获KG携带的不同语义。
利用元路径连接的物品之间的关系提升推荐：
[41] HeteMF 基于元路径实体相似性的矩阵分解框架；对用户-物品评价矩阵进行分解，采用图正则化[graph regularization] 来约束由元路径连接的相似物品的潜在向量的距离。
[43] HeteRec 学习用户对未评级物品的偏好扩散，这些未评级物品通过KG中的不同元路径与用户评分的物品连接。
通过元路径建模用户-用户或用户-物品的关系：
[15] HeteCF 基于社交网络的推荐，通过基于元路径的相似性，对用户-物品、用户-用户、物品-物品之间的关系进行建模
[28] SemRec 引入加权元路径概念
[37][45] 矩阵分解的方法，通过计算出基于元路径的相似度对用户-用户关系进行正则化。
这些方法依赖于手工元路径的质量与数量，和领域知识的支撑。
KG embedding based Methods
[44] CKE 通过TransR从KG获取实体语义，从而获得更好的物品潜在表示。但忽略了路径表示的成对实体之间的关系的语义，无法完全捕获KG的语义。
RKGE 使用循环网络对实体间的所有路径的语义进行自动建模，同时通过池化学习个实体间路径的重要性。
Recurrent Knowledge Graph Embedding
RKGE首先自动挖掘实体对间的语义路径，然后利用循环网络技术，通过一批循环网络编码不同路径。它通过池化操作进一步确定不同的路径显著性，池化操作最终与推荐生成无缝集成
Notations：
Semantic Path Mining
为充分利用KG中实体关系，首先挖掘实体间有不同语义的路径，然后将这些路径无缝融合到循环网络批处理中进行有效推荐。由于KG中实体和路径非常多，设计两种策略来提高效率，选择突出的路径：
1.仅仅考虑用户-物品路径 [user-to-item paths]
将用户ui和所有其评分过的物品连起来。这些路径对推荐最有帮助，而且还包括了那些相关的物品-物品[item-to-item] 和用户-用户[user-to-user] 路径(作为用户-物品[user-to-item]路径的子序列)
2.枚举由长度约束的路径 [length constraint]
仅利用长度低于阈值的路径。引入较短的路径能够很好的建模实体关系，较长的路径可能会引入远的邻居[remote neighbors] ，失去语义意义，进而引入大量噪音。[33]
在这两种策略的指导下，RKGE能够自动挖掘连接实体对的不同语义的合格路径。这些路径将由循环网络批处理进一步处理，以自动学习它们的语义表示，以便推荐。
Recurrent Network Batch
将用户-物品对之间的有向路径视为一个序列[sequence] ，序列中的元素是路径中的实体。我们自然会想到用循环网络对路径进行编码[encode] 。
鉴于不同长度的多个路径都可以连接实体对，设计一种新的网络体系结构来捕获所有可能的关系。它包括一批循环网络，每个单独的循环网络学习某一单独路径的语义表示。
不同实体对之间的路径数是动态的，循环网络的数量与其一致。在批处理中所有的RNN共享相同的参数，进一步避免过拟合。
假定一个实体对(ui,vj由s个不同长度的路径（p1,p2,…,ps）连接。注意s是动态的。对任意一个长度为T的路径pl，其格式为：pl=e0 -r1-> e1 -r2-> e2 … -rT->eT ,其中e0 = ui, eT = vj
循环网络通过学习每个实体的语义表示及整个路径的单一表示来对路径进行编码。在RKGE中，这些目标通过两个网络层实现：嵌入层[embedding layer] 和注意门控隐藏层[attention-gated layer]：
Embedding Layer
对于pl中的每个实体et，嵌入层学习一个分布式表示plt，它将et映射到一个低维向量空间，该向量表示的每个元素表示该实体与潜在主题的密切程度，从而捕获实体的语义。
例如一个路径pl的表示可以是
每个元素表示pl中对应实体的表示（嵌入）[representation (embedding) ]
然后这一新的表示将会作为输入送到隐藏层，以学习编码整个路径的单个表示。
Attention-Gated Hidden Layer
为了学习路径表示，隐藏层同时考虑路径中实体嵌入和实体的顺序。使用一个基于流 [flow-based] 的方法来编码从路径开始实体e0到路径结束实体eT的序列：
在每一步 t-1，学习一个隐藏状态 hl(t-1) ， 该状态编码了从e0到et-1的序列；然后与et的嵌入（plt）一起作为输入，学习下一步的隐藏状态hlt 。
最终的状态 hlT 将编码整个路径，因此可以认为是整个路径的表示。
使用一个注意力门控来更好的控制流经路径pl的信息：
用alt表示在步骤t的注意门[attention gate] ，它是[0,1]之间的一个标量。t时刻的隐藏状态[hidden-state] 建模为：
注意门alt 平衡上一层隐藏状态hl(t-1) 和当前候选隐藏状态h'lt 。当前候选状态通过完全合并当前时间步的输入得到：
W、H是先前步和当前步的线性变换参数，b是偏置项，σ是sigmoid**函数。
最后，利用双向循环网络[bi-directional recurrent network] 来推断注意门，以最大限度的挖掘输入序列。
我们根据当前时间步的输入观测和来自两个方向的相邻观测，建立注意门的模型：
两个hlt作为时间步t的上下文信息的总结：
总之，通过将ui和vj之间的每个合格路径(共s个)同时合并到注意力门控循环网络中，得到的结果是一个循环网络批处理，每个注意力门控循环网络编码一条路径。
为避免过拟合，所有网络使用相同的参数。最后我们得到所有路径的隐藏表示，也就是uj与vj的实体关系的表示。
随后通过一个池化操作区分这些隐藏状态对实体关系建模的不同重要性。
Saliency Determination
不同的路径在建模关系中可能扮演着不同的角色，例如更短的路径可能有更大的影响。
我们设计一个数据驱动[data-driven] 的方法，通过池化操作帮助判别路径的重要性。池化操作设计用来关注不同向量最重要的特征，比attention更合适该场景。
对于P(ui，vj)中的s条路径，通过循环网络批处理学习到其最后的隐藏状态为h1T1,h2T2,…,hsTs ,Ts是ps的最后一步，也是ps的长度。在此基础上，我们添加了
一个最大池化层[max pooling layer]，以获得所有路径上最显著的特征。得到一个聚合的隐藏状态 h：
h[j] 是 h 的第 j 维的值；为了避免h被某个hiTi 控制，如P(ui，vj)中的单一路径，我们还对所有路径的最后隐藏状态执行平均池化操作[average pooling]。
通过池化操作，我们得到uj和vj之间所有路径的最终隐藏状态，也即ui和vj间路径的聚合效果。接着我们在池化层后采用全连接层[fully-connected layer]来进一步
量化ui和vj的关系(接近度[proximity])，rij：
一旦模型训练完成，就可以通过RKGE对ui和vj之间的连接路径进行编码，从而实现更好的ui、vj表示。在测试过程中，通过计算ui、vk对应嵌入的内积来比
计算其相似度得分。最终，根据接近度评分对物品进行排序，将得分最高的k个推荐给ui。
Model Optimization
模型学习：
训练数据 Dtrain，例子：(ui，vj，rij，P(ui，vj))，损失函数为：
BCELoss是观测值与估计值之间的二元交叉熵[Binary Cross Entropy] 。即，将推荐问题处理成一个二分类问题。
在循环层[recurrent layer] 中使用时间反向传播[BPTT] ，其他地方采用常规反向传播，对参数进行更新。
为每个用户随机抽取未评级的物品作为负面例子，数量与其评级物品相同。
模型的可扩展性
双层RKGE并行训练机制。在模型训练的每次迭代中，所有用户对物品的连接路径都会并行地输入到RKGE中。同时，与每个用户到物品对之间的多个路径相关
的参数也会同时更新。
Experiments and Analysis
实验设置
Datasets
IM-1M = MovieLens1M + IMDB ，通过电影标题和上映日期进行连接。将 IM-1M的反馈按照时间戳顺序分割，较早的80%作为训练集，较近的20%作为测试集。
Yelp
评价指标
[email protected] (1,5,10) ；top-N MRR(Mean Reciprocal Rank) N=10 ;
实验结果
路径长度的影响
路径长度设置为 3 时结果更好；
池化方式的影响
平均池化比最大池化好
可解释性
推荐从不同方面、推荐有不同路径连接
结果对比
Conclusion
提出一种基于循环网络的知识图谱嵌入框架，RKGE
RKGE不仅能学习不同类型实体的语义表示，还能自动捕获KG编码的实体关系。
未来工作：考虑KG中实体类型的分类
References
更多参考文献参见原论文
[44] Fuzheng Zhang, Nicholas Jing Yuan, Defu Lian, Xing Xie, and Wei-Ying Ma.2016. Collaborative Knowledge base Embedding for Recommender Systems. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD). ACM, 353–362
[7] László Grad-Gyenge, Peter Filzmoser, and Hannes Werthner. 2015. Recommendations on a Knowledge Graph. In 1st International Workshop on Machine Learning Methods for Recommender Systems, MLRec. 13–20.
[3] Sneha Chaudhari, Amos Azaria, and Tom Mitchell. 2017. An Entity Graph based Recommender System. AI Communications 30, 2 (2017), 141–149
[41] Xiao Yu, Xiang Ren, Quanquan Gu, Yizhou Sun, and Jiawei Han. 2013. Collaborative Filtering with Entity Similarity Regularization in Heterogeneous Information Networks. Proceedings of 5th IJCAI Workshop on Heterogeneous Information Network Analysis (IJCAI-HINA) 27 (2013).
[43] Xiao Yu, Xiang Ren, Yizhou Sun, Bradley Sturt, Urvashi Khandelwal, Quanquan Gu, Brandon Norick, and Jiawei Han. 2013. Recommendation in Heterogeneous Information Networks with Implicit User Feedback. In Proceedings of the 7th ACM conference on Recommender Systems (RecSys). ACM, 347–350
[33] Yizhou Sun, Jiawei Han, Xifeng Yan, Philip S Yu, and Tianyi Wu. 2011. Pathsim: Meta Path-based Top-k Similarity Search in Heterogeneous Information Networks. Proceedings of the VLDB Endowment 4, 11 (2011), 992–1003.