自然语言处理（十）——概率图模型之贝叶斯网

一、概念

概率图模型在概率模型的基础上,使用了基于图的方法来表示概率分布(或者概率密度、密度函数),是一种通用化的不确定性知识表示和处理方法。在概率图模型的表达中,结点表示变量,结点之间直接相连的边表示相应变量之间的概率关系。
这是教材上的解释，概率论我没系统学过，光看这个概念我是不懂的，下面是教材上的例子：

我们现在想求联合概率分布时，也就是每一种情况的概率，季节有4种选择，有2种病，两种病是否患病有4种组合，流感病又有2种症状。显而易见有64种情况。我们把64种情况的概率全部求出时，就可以求出边缘概率分布。具体得来说知道了联合概率分布，假如要求“春天得流感病”，只要将“春天得流感病肌肉痛”的概率和“春天得流感病鼻塞”的概率相加即可。其他以此类推。

这样一来，虽然说理论上是可行的，但是要有64个未知的参数才行。有什么好办法能够减少这个工作量呢？概率图模型便可以很好的简化。

在概率图模型中计算概率时，事件是有相对独立性的。例如上图中，流感只被季节影响，肌肉痛只被流感影响而不会被季节影响，当然这是计算时默认它们是独立的，并不代表实际它们独立。这时候联合分布   根据贝叶斯公式推出。

                                    因为肌肉痛只和流感有关

                                   贝叶斯公式

                                   鼻塞只和流感和花粉热有关

                                   贝叶斯公式

                                  花粉热只和季节有关

                                  贝叶斯公式

显而易见，只需要3+4+4+4+2=17个参数就可以知道联合分布。这个3+4+4+4+2是怎么的出来的？下图是解释：

上面这个概率图模型就是贝叶斯网络，可以看出，光是在5个随机变量的联合分布中就简化了非常多的未知参数。这个贝叶斯网络是有向图，当然也有无向图的概率图模型，下一节再介绍马尔科夫网。