一起学西瓜书07 贝尔斯分类器(五)贝叶斯网
一起学西瓜书07 贝尔斯分类器
(五)贝叶斯网
引言
- 贝叶斯网络又称为信度网络，是基于概率推理的图形化网络。它是贝叶斯法则的扩展，而贝叶斯公式则是这个概率网络的基础。
- 贝叶斯网络适用于表达和分析不确定性和概率性事件，应用于有条件地依赖多种控制因素的决策过程，可以从不完全、不精确或不确定的知识或信息中做出推理。
- 贝叶斯网络由Judea Pearl于1988年提出，最初主要用于处理人工智能中的不确定信息。
- 随后，逐步成为处理不确定性信息技术的主流，并在文本分类、字母识别、经济预测、医疗诊断、工业控制等领域得到了广泛的应用。目前，贝叶斯网络是不确定知识表达和推理领域最有效的理论模型之一。
定义
下图可以更加方便的理解P(X)是怎么计算的
因为在贝叶斯网络之中,节点与节点之间是有着依赖关系的,上图公式中n的值代表着有集合父节点,也就是图中有几条线
如下图 图*有两条线,很明显A节点是B和C的父节点
结构
书中介绍了什么是道德化,和从道德图中我们可以得到哪些内容
学习
推断
研究前景
贝叶斯网络的特性：
- 贝叶斯网络本身是一种不定性因果关联模型，它将多元知识图解可视化，贴切的蕴含了网络节点变量之间的因果关系及条件相关关系；
- 贝叶斯网络具有强大的不确定性问题的处理能力，它用条件概率表达各个信息要素之间的相关关系，能在有限的、不完整的、不确定的信息条件下进行知识学习和推理；
- 贝叶斯网络能有效的进行多源信息表达与融合，可将故障诊断与维修决策相关的各种信息纳入到网络结构中，并按节点的方式统一进行处理与信息融合。
贝叶斯网络的缺陷
- 研究如何根据数据和专家知识高效、准确的建立贝叶斯网络，是十多年来研究的热点之一，也是贝叶斯网络更加广泛、有效地用于实际问题领域的关键和焦点之一。
- 目前对于这一类学习问题，主要有基于打分—搜索的学习方法和基于依赖分析的学习方法，但前者存在搜索空间巨大，可能收敛于局部最优解等问题，后者则存在节点之间的独立性或条件独立性判断困难，高阶条件独立性检验的结果不够可靠等问题。
贝叶斯网络与马尔科夫链 - 马尔科夫链蒙特卡罗（Markov Chain Monte Carlo，MCMC）方法是源于统计物理学和生物学的一类重要的随机抽样方法，该方法广泛应用于机器学习、统计和决策分析等领域的高维问题的推理和求积运算。
- MHS（Metropolis-Hasting Sampler）抽样算法作为MCMC方法中常用的抽样方法之一，通过构建一条马尔科夫链，模拟一个收敛于Boltzmann分布的系统。将MHS抽样算法引入贝叶斯网络，能够较好的解决进化学习方法中由于个体趋同而产生的早熟问题，保证算法的学习精度。
- 此外，针对其计算精度低、收敛速度较慢的不足，随机拟MCMC方法也具有一定的优越性。
- 不过，该算法存在的收敛速度慢和收敛性判断困难等问题仍未能得到有效解决。因此，如何更有效地将MCMC方法用于贝叶斯网络的结构学习与推理学习成为近年来重要的研究方向之一。