1 Background

概率图模型(Probability Graphic Model)，我们之前学习的是贝叶斯网络和马尔可夫随机场，之
前学习的概率图中每个节点都是离散随机变量。所以根据图是有向图还是无向图，我们可以将概率图
模型分成贝叶斯网络(Bayesian Network) 和马尔可夫随机场(Markov Random Field)。
而如果概率图中每个节点都是一维连续随机变量，则称为高斯网络，进一步，根据图是有向图还是无向图，可以被分为高斯
贝叶斯网络(Gaussian Bayesian Network) 和高斯马尔可夫随机场(Gaussian Markov Random Field)。

1.1 高斯网络概念

假设高斯马尔可夫随机场的概率图模型如下所示：

每一个节点都是一个一维随机变量，每一个节点 $x_{i} \sim \mathcal{N}\left(\mu_{i}, \Sigma_{i}\right),$xi​∼N(μi​,Σi​), 而所有的节点构成的集合： $\mathcal{X}=$X= $\left(x_{1}, x_{2}, \cdots, x_{p}\right)^{T}$(x1​,x2​,⋯,xp​)T 。多维变量的高斯分布为：
$P(X)=\frac{1}{(2 \pi)^{\frac{7}{2}}|\Sigma|^{\frac{1}{2}}} \exp \left\{-\frac{1}{2}(X-\mu)^{T} \Sigma^{-1}(X-\mu)\right\}$P(X)=(2π)27​∣Σ∣21​1​exp{−21​(X−μ)TΣ−1(X−μ)}
所以，一个高斯网络就可以映射为一个高维高斯分布。而协方差矩阵 $\Sigma$Σ 实际就反映了变量之间的联系。
由于高斯分布的自共轭性，单个变量和整个高斯网络都是符合高斯分布的。
协方差矩阵为：
$\Sigma=\left(\sigma_{i j}\right)=\left[\begin{array}{cccc} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1 p} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2 p} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{p 1} & \sigma_{p 2} & \cdots & \sigma_{p p} \end{array}\right]_{p \times p}$Σ=(σij​)=⎣⎢⎢⎢⎡​σ11​σ21​⋮σp1​​σ12​σ22​⋮σp2​​⋯⋯⋱⋯​σ1p​σ2p​⋮σpp​​⎦⎥⎥⎥⎤​p×p​
而协方差矩阵描述的就是两个变量之间关系，当 $\sigma_{i j}=0,$σij​=0, 就等价于 $x_{i} \perp x_{j}$xi​⊥xj​ 。整个是绝对独立或者称之为边缘独立，而在我们概率图模型中往往研究的是条件独立 $x_{A} \perp x_{B} | x_{C}$xA​⊥xB​∣xC​($x_{A}, x_{B}, x_{C}$xA​,xB​,xC​ 都是节点的集合）。我们研究条件独立性实际上是为了简化计算，因为完全图的复杂度实在是太高了。
我们定义信息矩阵(Information Matrix) 或者也被称为精度矩阵(Precision Matrix) 为：
$\Lambda=\Sigma^{-1}=\left[\begin{array}{cccc} \lambda_{11} & \lambda_{12} & \cdots & \lambda_{1 p} \\ \lambda_{21} & \lambda_{22} & \cdots & \lambda_{2 p} \\ \vdots & \vdots & \ddots & \vdots \\ \lambda_{p 1} & \lambda_{p 2} & \cdots & \lambda_{p p} \end{array}\right]_{p \times p}$Λ=Σ−1=⎣⎢⎢⎢⎡​λ11​λ21​⋮λp1​​λ12​λ22​⋮λp2​​⋯⋯⋱⋯​λ1p​λ2p​⋮λpp​​⎦⎥⎥⎥⎤​p×p​
当 $\lambda_{i j}=0$λij​=0 就意味着 $x_{i} \perp x_{j} |-\left\{x_{i}, x_{j}\right\}$xi​⊥xj​∣−{xi​,xj​} 这就可以用来表示条件概率了。这也是信息矩阵的微妙之处, 至于为什么我们相信大部分同学都是一脸構逼，这里会在后面进行描述。

1.2 小结

Gaussian Network 是连续型的概率图模型，一个高斯网络实际上可以看成是一个高维高斯分布。 协方差矩阵中可以反映完全独立性，而精度矩阵中可以反映条件独立性，也就是在其他所有节点已知
的情况下，两个节点之间的独立性。下面我们要分别介绍 Gaussian Bayesian Network 和 Gaussian
Markov Random Field

2 Gaussian Bayesian Network

在连续型的 Probability Graphic Model 中，有向图，被我们称之为 Gaussian Bayesian Network。 假设概率图中一共有 $p$p 个节点，根据我们之前学习的贝叶斯网络的因子分析法，可以得到：
$P(X)=\prod_{i=1}^{p} P\left(x_{i} | x_{\mathrm{pa}(i)}\right)$P(X)=i=1∏p​P(xi​∣xpa(i)​)
$\mathrm{pa}(i)$pa(i) 是一个集合，代表 $x_{i}$xi​ 节点的父亲节点集合。 GBN is based on Linear Gaussian Model。GBN 是一个 global 的概念，代表的是整个高斯网络， 也就是 X 之间的高维高斯分布。而 Linear Gaussian Model 指的是 local 的模型，也就是局部父亲节 点与孩子节点之间的关系是符合高斯线性模型的。
我们看看标准的线性高斯模型：
$\left\{\begin{array}{l} P(x)=\mathcal{N}\left(x | \mu_{x}, \Sigma_{x}\right) \\ P(y | x)=\mathcal{N}\left(y | A x+b, \Sigma_{y}\right) \end{array}\right.${P(x)=N(x∣μx​,Σx​)P(y∣x)=N(y∣Ax+b,Σy​)​
线性就体现在了y 与x 之间的关系。

2.1 Kalman Filter 回顾

我们以HMM 为例，概率图模型如下所示：

Kalman Filter 是用来解决 HMM 问题中的 Filter 问题，也被称之为线性高斯系统，线性主要体
现在下面两个地方：
$\left\{\begin{array}{l} P\left(x_{t} | x_{t-1}\right)=\mathcal{N}\left(x_{t} | A x_{t-1}+B, Q\right) \\ P\left(y_{t} | x_{t}\right)=\mathcal{N}\left(y_{t} | C x_{t}+D, R\right) \end{array}\right.${P(xt​∣xt−1​)=N(xt​∣Axt−1​+B,Q)P(yt​∣xt​)=N(yt​∣Cxt​+D,R)​
变量之间的线性关系即为：
$\left\{\begin{array}{ll} x_{t}=A x_{t-1}+B+\epsilon & \epsilon \sim \mathcal{N}(0, Q) \\ y_{t}=C x_{t}+D+\delta & \delta \sim \mathcal{N}(0, R) \end{array}\right.${xt​=Axt−1​+B+ϵyt​=Cxt​+D+δ​ϵ∼N(0,Q)δ∼N(0,R)​
这就是 Kalman Filter 的 Representation Model，也就是一种特殊的 Gaussian Bayesian Model。

2.2 Gaussian Bayesian Model 详解

下面我以如下所示的 Gaussian Bayesian Model 为例：

很显然 $x_{\mathrm{pa}(i)}=\left\{x_{1}, x_{2}\right\}$xpa(i)​={x1​,x2​} 。根据因子分解法，我们可以得到：
$P(X)=\prod_{i=1}^{p} P\left(x_{i} | x_{\mathrm{Pa}(i)}\right)$P(X)=i=1∏p​P(xi​∣xPa(i)​)
我们将 $x_{\mathrm{pa}(i)}$xpa(i)​ 写成向量形式，所以 $x_{\mathrm{pa}(i)}=\left(x_{1}, x_{2}, \cdots, x_{k}\right)$xpa(i)​=(x1​,x2​,⋯,xk​) 。根据父子节点之间的线性关系，我们可以 得到：
$P\left(x_{i} | x_{\mathrm{pa}(i)}\right)=\mathcal{N}\left(x_{i} | \mu_{i}+w_{i}^{T} x_{\mathrm{pa}(i)}, \sigma_{i}^{2}\right)$P(xi​∣xpa(i)​)=N(xi​∣μi​+wiT​xpa(i)​,σi2​)
其中 , $x_{i}$xi​ 是一维变量, 实际上我们可以看成 $x_{i}$xi​ 就是它的父亲节点的线性组合, 所以说 Guassian Network 是基于局部模型，局部模式是一个 Linear Gaussian Model，为了清楚表示可以写为：
$x_{i}=\mu_{i}+\sum_{j \in x_{p=(i)}} w_{i j} \cdot\left(x_{j}-\mu_{j}\right)+\sigma_{i} \cdot \xi_{i}$xi​=μi​+j∈xp=(i)​∑​wij​⋅(xj​−μj​)+σi​⋅ξi​
这里有的小伙伴可能会有点槽逼了，实际上我们将这个 $x_{j}$xj​ 写成 $\left(x_{j}-\mu_{j}\right),$(xj​−μj​), 是为了使其进行归一化，使 均值等于 0，以 0 为中心，便于对 learning 的运算。而 $\xi_{i} \sim \mathcal{N}(0,1),$ξi​∼N(0,1), 我们知道 $\sigma_{i} \cdot \xi_{i}$σi​⋅ξi​ 的方差还是为 $\sigma^{2},$σ2, 而乘上一个随机变量是使 $x_{i}$xi​ 变成一个随机变量。而为了统一结构，我们将其写为：
$x_{i}-\mu_{i}=\sum_{j \in x_{\mathrm{pa}(i)}} w_{i j} \cdot\left(x_{j}-\mu_{j}\right)+\sigma_{i} \cdot \xi_{i}$xi​−μi​=j∈xpa(i)​∑​wij​⋅(xj​−μj​)+σi​⋅ξi​
很显然, 这就是一种线性组合。从全局角度看就是 Gaussian Network，从局部角度来看就是一个 Linear
Gaussian Model

2.3 Gaussian Bayesian Model 的矩阵表达形式

假如，高斯网络中有$p$p 个节点，各个节点变量组成的集合为：
$X=\left(x_{1}, x_{2}, \cdots, x_{p}\right)^{T}$X=(x1​,x2​,⋯,xp​)T
相应每个节点的均值为：
$\mu=\left(\mu_{1}, \mu_{2}, \cdots, \mu_{p}\right)^{T}$μ=(μ1​,μ2​,⋯,μp​)T
每个节点对应的一个 $\mathcal{N}(0,1)$N(0,1) 的随机变量为：
$\xi=\left(\xi_{1}, \xi_{2}, \cdots, \xi_{p}\right)^{T}$ξ=(ξ1​,ξ2​,⋯,ξp​)T
节点与节点之间的权重组成了一个矩阵为：
$W=\left[w_{i j}\right]_{p \times p}$W=[wij​]p×p​
而 $S$S 为 $\sigma_{i}$σi​ 组成一个对角矩阵：
$S=\operatorname{diag}\left(\sigma_{i}\right)_{p \times p}$S=diag(σi​)p×p​
所以，我们就可以得到 Gaussian Linear Representation 的向量表达形式为：
$X-\mu=W(X-\mu)+S \cdot \xi$X−μ=W(X−μ)+S⋅ξ
化简就可以得到：
$X-\mu=(I-W)^{-1} S \cdot \xi$X−μ=(I−W)−1S⋅ξ
当然我们都假设这里都是可逆的。因为 $X \sim \mathcal{N}(\mu, \Sigma),$X∼N(μ,Σ), 我们把变量看成 $X-\mu,$X−μ, 所以重点要计算的就 是 $\Sigma ㇇$Σ㇇
$\begin{array}{c} \Sigma=\operatorname{cov}(X)=\operatorname{cov}(X-\mu)=\operatorname{cov}\left((I-W)^{-1} S \cdot \xi\right) \\ \operatorname{cov}\left((I-W)^{-1} S \cdot \xi\right)=\left((I-W)^{-1} S\right)^{T}\left((I-W)^{-1} S\right) \operatorname{cov}(\xi)=\left((I-W)^{-1} S\right)^{T}\left((I-W)^{-1} S\right) \end{array}$Σ=cov(X)=cov(X−μ)=cov((I−W)−1S⋅ξ)cov((I−W)−1S⋅ξ)=((I−W)−1S)T((I−W)−1S)cov(ξ)=((I−W)−1S)T((I−W)−1S)​
因为这里的 $(I-W)^{-1} S$(I−W)−1S 是一个确定的常数。

2.4 小结

在这一小节中，我们主要研究了连续随机变量的有向图，为Gaussian Bayesian Model，我们主要
研究的是模型的表达形式，包括向量表达形式。最后，老师在求协方差矩阵的时候，没有求完，我觉
得比较简单就顺手写了。高斯贝叶斯模型，全局是多维高斯分布，局部是线性高斯模型。

3 Gaussian Markov Random Field

这小节我们要介绍的连续变量的无向图结构，高斯马尔可夫随机场(Gaussian Markov Random
Field)。多维高斯分布的概率密度函数如下所示：
$P(X)=\frac{1}{(2 \pi)^{\frac{P}{2}}|\Sigma|^{\frac{1}{2}}} \exp \left\{-\frac{1}{2}(X-\mu)^{T} \Sigma^{-1}(X-\mu)\right\}$P(X)=(2π)2P​∣Σ∣21​1​exp{−21​(X−μ)TΣ−1(X−μ)}
假设现有一个Gaussian Markov Random Field 如下图所示：

3.1 Gaussian Markov Random Field 的概率计算

之前，我们使用了最大团的势函数的乘积来计算随机变量的概率。这里成对Markov 性质，我们
使用另一种表达方式，更适合对此问题的分析。我们假设模型中有p 个节点，那么概率表达如下所示：
$P(X)=\frac{1}{Z} \prod_{i=1}^{p} \phi\left(x_{i}\right) \cdot \prod_{i, j \in X} \phi_{i j}\left(x_{i}, x_{j}\right)$P(X)=Z1​i=1∏p​ϕ(xi​)⋅i,j∈X∏​ϕij​(xi​,xj​)
其中 $\phi\left(x_{i}\right)$ϕ(xi​) 表示的是一个点的势函数，被称为 node potential; 而 $\phi_{i j}\left(x_{i}, x_{j}\right)$ϕij​(xi​,xj​) 表示的是一条边的势函 数，被称为 edge potential。令 $\Sigma^{-1}=\Lambda,$Σ−1=Λ, 下面我来计算 $P(X)$P(X) 的表达形式，为了清晰的分析，我们只 考虑和 X 相关的部分。
$\begin{aligned} P(X) & \propto \exp \left\{-\frac{1}{2}(X-\mu)^{T} \Sigma^{-1}(X-\mu)\right\} \\ &=\exp \left\{-\frac{1}{2}\left(X^{T} \Lambda-\mu^{T} \Lambda\right)(X-\mu)\right\} \\ &=\exp \left\{-\frac{1}{2}\left(X^{T} \Lambda X-X^{T} \Lambda \mu-\mu^{T} \Lambda X+\mu^{T} \Lambda \mu\right\}\right. \end{aligned}$P(X)​∝exp{−21​(X−μ)TΣ−1(X−μ)}=exp{−21​(XTΛ−μTΛ)(X−μ)}=exp{−21​(XTΛX−XTΛμ−μTΛX+μTΛμ}​
其中，X 和 $\mu$μ 是 $p \times 1$p×1 的矩阵， $\Lambda$Λ 是 $p \times p$p×p 的矩阵。所以, $X^{T} \Lambda \mu$XTΛμ 和 $\mu^{T} \Lambda X$μTΛX 都是一维实数，且 $X^{T} \Lambda \mu=\mu^{T} \Lambda X(\text { 这还无法理解就自己拆开算一下吧 })$XTΛμ=μTΛX( 这还无法理解就自己拆开算一下吧 )
$P(X) \propto \exp \left\{-\frac{1}{2}\left(X^{T} \Lambda X-2 \mu^{T} \Lambda X+\mu^{T} \Lambda \mu\right)\right\}$P(X)∝exp{−21​(XTΛX−2μTΛX+μTΛμ)}
最后一项 $\mu^{T} \Lambda \mu$μTΛμ 与 $X$X 无关，所以
$P(X) \propto \exp \left\{-\frac{1}{2}\left(X^{T} \Lambda X-2 \mu^{T} \Lambda X\right)\right\}=\exp \left\{-\frac{1}{2} X^{T} \Lambda X+\mu^{T} \Lambda X\right\}$P(X)∝exp{−21​(XTΛX−2μTΛX)}=exp{−21​XTΛX+μTΛX}
又因为， $\Lambda$Λ 是对称矩阵，所以 $\left(\mu^{T} \Lambda\right)^{T}=(\Lambda \mu),$(μTΛ)T=(Λμ), 所以：
$P(X) \propto \exp \left\{-\frac{1}{2} X^{T} \Lambda X+(\Lambda \mu)^{T} X\right\} \ \ \ \ (17)$P(X)∝exp{−21​XTΛX+(Λμ)TX}    (17)
其中 $X^{T} \Lambda X$XTΛX 为二次项, $(\Lambda \mu)^{T} X$(Λμ)TX 为一次性, 其中 $\Lambda$Λ 为 Precision Matrix, $\Lambda \mu$Λμ 为 Potential Matrix

3.2 Gaussian Markov Random Field 次项分析

我们来从 (17) 中提取一下和 $x_{i}$xi​ 相关的项，提取的方法直接寻找相关项就行：
$x_{i}:-\frac{1}{2} x_{i}^{2} \lambda_{i i}+h_{i} x_{i}$xi​:−21​xi2​λii​+hi​xi​
其中， $h_{i}$hi​ 为一个 $p$p 维的向量。 接着从 (17) 提取和 $x_{i}$xi​ 和 $x_{j}$xj​ 的相关项：
$x_{i}, x_{j}:-\frac{1}{2}\left(\lambda_{i j} x_{i} x_{j}+\lambda_{j i} x_{j} x_{i}\right)=-\lambda_{i j} x_{i} x_{j}$xi​,xj​:−21​(λij​xi​xj​+λji​xj​xi​)=−λij​xi​xj​
因为， $\Lambda$Λ 是对称矩阵。 当 $\lambda_{i j} x_{i} x_{j}=0,$λij​xi​xj​=0, 就意味着边上的势函数就等于 $0,$0, 就意味着两个点之间是没有边是直接相连的。因因为没有边直接向量，那么在其他点都观察到的情况广， $x_{i}$xi​ 和 $x_{j}$xj​ 之间是相互独立的。所以, $\lambda_{i j} x_{i} x_{j}=0$λij​xi​xj​=0 就蕴涵着 $x_{i} \perp x_{j} |-\left\{x_{i}, x_{j}\right\},$xi​⊥xj​∣−{xi​,xj​}, 这实际上非常的巧妙。所以，通过上述的分析，我们就成功的把多维高 斯分布和一个无向图结合在了一起。所以，我们对 P(X) 进行研究的目的就是想知道，多维高斯模型 和无向图之间的关系。通过 $\Lambda$Λ 知阵微到了一个结合，这也就是我们在公式 (3) 下方给出的结论的原因。
我们可以看到，在对Gaussian Distribution 的参数进行学习的过程中，我们不仅可以学习到了参数，也同时根据$Λ$Λ的也就可以学习到结构 $\Lambda$Λ 单也就可以学习到结构 $\left(\lambda_{i j} x_{i} x_{j}=0 \Longleftrightarrow x_{i} \perp x_{j} |-\left\{x_{i}, x_{j}\right\}\right)$(λij​xi​xj​=0⟺xi​⊥xj​∣−{xi​,xj​}) 。因为高斯分布
和高斯马尔可夫场的巧妙联系，在学习的过程中参数和结构都有考虑，这样的做法是非常棒的。

3.3 小结

本小节，最重要的就是三点，这里总结一下：

• $x_{i} \perp x_{j}$xi​⊥xj​ 中 $, \Sigma=\left[\sigma_{i j}\right], x_{i} \perp x_{j} \Longleftrightarrow \sigma_{i j}=0,$,Σ=[σij​],xi​⊥xj​⟺σij​=0, 也就是边缘独立，或者说是完全独立。
• $x_{i} \perp x_{j} |-x_{i}, x_{j}$xi​⊥xj​∣−xi​,xj​ 中。 $\Lambda=\Sigma^{-1}=\left[\lambda_{i j}\right], x_{i} \perp x_{j} |-x_{i}, x_{j} \Longleftrightarrow \lambda_{i j}=0,$Λ=Σ−1=[λij​],xi​⊥xj​∣−xi​,xj​⟺λij​=0, 这就是条件独立的特点。
• $\forall x, P\left(x_{i} |-x_{i}\right) \sim \mathcal{N}\left(\sum_{i \neq j} \frac{\lambda_{i j}}{\lambda_{i i}} x_{j}, \lambda_{i i}^{-1}\left(\sigma_{i i}\right)\right),$∀x,P(xi​∣−xi​)∼N(∑i​=j​λii​λij​​xj​,λii−1​(σii​)), 根据这个公式，我们可以深刻的体会到 $x_{i}$xi​ 可以看做其他与其相连的 $x_{j}$xj​ 的线性组合。这个公式是怎么算来的呢？实际上思路很简单,
  $X=\left[\begin{array}{c} x_{i} \\ -\left\{x_{i}\right\} \end{array}\right]=\left[\begin{array}{c} x_{a} \\ x_{b} \end{array}\right]$X=[xi​−{xi​}​]=[xa​xb​​]

而如果在知道高斯分布联合概率分布的情况下，求解条件概率分布是有系统的推导方法的。这里就不推了，有兴趣的同学自己请查阅之前讲到的“[机器学习基础02] 白板推导数学基础”，并且参考up 主的思路，或者PRML 的第二章P85，条件高斯分布。有详细的推导。

4 总结(Conclusion)

本小节主要介绍了连续变量的概率图模型，高斯网络，根据有向图和无向图，可以分为高斯贝叶斯网络和高斯马尔可夫网络。我觉得高斯贝叶斯的主要思路是考虑整体高斯网络和局部线性高斯模型之间的联系，高斯马尔可夫的主要思路是考虑网络和联合概率密度函数之间的关系。他们都是将复杂的模型进行简化，迁移到简单的模型中去解决。但是，我们只学习了模型的建立和结构特点，并没有学习根据这个结构使用数据来求得参数的过程，相关研究领域的同学可以自行研究，如果不是要用到这个，基本就可以到此为止了。