贝叶斯网

下图中的有向无环图就是一个贝叶斯网络。

图中一共有5个随机变量：

• Difficulty：表示一门课程的难度
  
  • d0表示简单，d1表示难
• Intelligence：表示一个学生的智商
  
  • i0表示智商一般，i1表示智商很高
• Grade：某门课程考试的成绩
  
  • g1(A), g2(B), g3(C)分别表示成绩为A，B，C（A表示成绩最好）
• SAT：SAT考试成绩
  
  • s0表示低分，s1表示高分
• Letter：获得推荐信
  
  • l0表示获得一般的推荐信，l1表示获得很好的推荐信

推理模式

所谓推理模式(Reasoning Patterns)，就是根据已知量来推断未知量。根据推理思路不同，将推理模式分为下面几种。

• Causal Reasoning（因果推理）
• Evidential Reasoning（证据推理）
• Intercausal Reasoning（因果间推理）

因果推理

例子：我们想根据贝叶斯网，推断某个学生George从教课程Econ101的教授那里获得一份好推荐信的概率（l1）。
已知：对学生George和课程Econ101一无所知的情况下，P(l1)=0.5

推断：

（1）若在已知的基础上，我们还知道学生George不太聪明（i0）。则可以推断，George获得一份好推荐信的概率，会比0.5低一点，这里猜测P(l1|i0)=0.39；
（2）若在已知和（1）的基础上，我们还知道课程Econ101比较简单（d0）。则可以推断，George从教课程Econ101的教授那里获得一份好推荐信的概率，会比0.5高一点，，这里猜测P(l1|i0,d0)=0.51；

这类可以根据贝叶斯图中“顺流而下”的推断，就叫因果推理。所谓“顺流而下”，就是顺着有向图的方向推理（已知量和未知量是因果关系，并且已知量是未知量的因）。从推论（1）中，可以看出已知量（I）是未知量（L）的因；从推论（1）中，可以看出已知量（I，D）是未知量（L）的因。

证据推理

因果推理是顺着有向图的方向推理，而证据推理是逆着有向图方向推理。已知量和未知量是因果关系，并且已知量是未知量的果。

例子1

要求：推断课程是很难课程的概率。
已知：对其它信息一无所知的前提下，我们知道课程Econ101是一门很难课程的概率为P(d1)=0.4。
推断：若在已知的基础上，我们还知道学生George在课程Econ101上的考试成绩很差（g3(C)）。根据这个条件，我们可以推论这门课程确实要难一些。则课程Econ101是一门很难课程的概率要比0.4高一点，这里猜测P(d1|g3(C))=0.63。

例子2

要求：推断学生智商很高的概率。
已知：对其它信息一无所知的前提下，我们知道学生智商很高的概率为P(i1)=0.3。
推断：若在已知的基础上，我们还知道学生George在课程Econ101上的考试成绩很差（g3(C)）。根据这个条件，我们可以推论学生的智商不会太高，学生智商很高的概率要比0.3低，这里猜测P(i1|g3(C))=0.08

注意在这两个例子中，都是逆着有向图的箭头进行推理。

因果间推理

如下图，推理关系超越了有向图的某条“流”。

例子：推断学生智商很高的概率。
已知：对其它信息一无所知的前提下，我们知道学生智商很高的概率为P(i1)=0.3。
推断：

（1）若在已知的基础上，我们还知道学生George在课程Econ101上的考试成绩很差（g3(C)）。根据这个条件，我们可以推论学生的智商不会太高，学生智商很高的概率要比0.3低，这里猜测P(i1|g3(C))=0.08。（这就是证据推理中例子2）
（2）若在（1）的基础上，我们还知道课程Econ101是一门比较难的课程（d1），则学生考试成绩为C又情有可原了，所以此时我们会猜测学生的智商也没（1）中那么低，这里猜测P(i1|g3(C),d1)=0.11

参考

• 概率图模型：原理与技术。作者：Daphne Koller