知识图谱论文阅读
EFFICIENT PROBABILISTIC LOGIC REASONING WITH GRAPH NEURAL NETWORKS
ICLR 2020
Probabilistic Logic Neural Networks for Reasoning
nips 2019
1. 摘要
- 结合逻辑规则和知识图谱嵌入模型。将知识图谱看作一个一阶逻辑知识库，知识库中每条规则都有一定的权重，采用马尔可夫逻辑网对一阶逻辑知识库进行建模，学习所有可能的三元组的联合概率分布。网络采用EM算法进行优化。在E-步骤中，使用知识图嵌入模型来推断缺失的三元组，而在M-步骤中，基于观察到的和预测的三元组来更新逻辑规则的权重。
- 本文提供了一种框架，实现了 知识图谱 --> 一阶逻辑知识库 --> 马尔可夫逻辑网 的转化。 将任务转化为求解关于三元组的联合概率分布问题。
2.建模
-
建模目标
采用马尔可夫逻辑建模已观测三元组、隐藏三元组的特征值（0，1）的联合概率分布：
p ( v O , v H ) = 1 Z exp ( ∑ l ∈ L w l ∑ g ∈ G l 1 { g is true } ) = 1 Z exp ( ∑ l ∈ L w l n l ( v O , v H ) ) p\left(\mathbf{v}_{O}, \mathbf{v}_{H}\right)=\frac{1}{Z} \exp \left(\sum_{l \in L} w_{l} \sum_{g \in G_{l}} \mathbb{1}\{g \text { is true }\}\right)=\frac{1}{Z} \exp \left(\sum_{l \in L} w_{l} n_{l}\left(\mathbf{v}_{O}, \mathbf{v}_{H}\right)\right) p(vO,vH)=Z1exp⎝⎛l∈L∑wlg∈Gl∑1{g is true }⎠⎞=Z1exp(l∈L∑wlnl(vO,vH))
-
模型训练目标：
最大化已观测三元组值的log似然：
log p w ( v O ) ≥ L ( q θ , p w ) = E q θ ( v H ) [ log p w ( v O , v H ) − log q θ ( v H ) ] \log p_{w}\left(\mathbf{v}_{O}\right) \geq \mathcal{L}\left(q_{\theta}, p_{w}\right)=\mathbb{E}_{q_{\theta}\left(\mathbf{v}_{H}\right)}\left[\log p_{w}\left(\mathbf{v}_{O}, \mathbf{v}_{H}\right)-\log q_{\theta}\left(\mathbf{v}_{H}\right)\right] logpw(vO)≥L(qθ,pw)=Eqθ(vH)[logpw(vO,vH)−logqθ(vH)] -
预测目标
p w ( v H ∣ v O ) p_{w}\left(\mathbf{v}_{H} \mid \mathbf{v}_{O}\right) pw(vH∣vO)
模型实施
** 模型训练过程**
马尔可夫网络的优化训练采用变分EM算法，引入隐藏变量的分布
q
θ
(
v
H
)
q_{\theta}\left(\mathbf{v}_{H}\right)
qθ(vH),最小化
q
θ
(
v
H
)
q_{\theta}\left(\mathbf{v}_{H}\right)
qθ(vH)与真实分布
p
w
(
v
H
∣
v
O
)
p_{w}\left(\mathbf{v}_{H} \mid \mathbf{v}_{O}\right)
pw(vH∣vO) 之间的KL散度。
变分EM推理
- E步：
固定 p w p_{w} pw, 优化 q θ q_{\theta} qθ, 其中 q θ q_{\theta} qθ 的参数又知识图谱嵌入模型（transE等）给出。
- M步
固定 q θ q_{\theta} qθ, 优化 p w p_{w} pw。
总结
论文给出了知识图谱到马尔科夫逻辑网的转化框架，并重新定义了知识图谱补全任务的建模目标和训练方法；同时结合了逻辑规则和嵌入模型，能有效结合两者的优点。 缺点是推理过程繁琐。
todo list
Adaptive Structural Fingerprints for Graph Attention Networks
本文考虑了半监督学习环境下图节点分类的问题。在对节点进行分类时，决策是基于节点的特征以及其邻居的加权组合（其中权重是使用学习的注意力机制来计算的）。作者通过提出一种不同的方法来计算邻近节点上的注意力，从而扩展了最近的Graph Attention Networks（GAT）论文。这种新的关注机制不仅考虑了它们的特征相似性，而且还考虑了额外的结构信息，这也使他们的方法不仅可以参加直接邻居，而且可以参加k跳邻居。
15
Graph inference learning for semi-supervised classification
作者提出了一种图推理学习框架，以解决图中稀疏标记数据的问题。作者使用结构信息和节点属性定义结构关系，然后将其用于从已知标签中推断未知标签。