目录

一 朴素贝叶斯算法（不推荐使用）

1 算法核心思想

2 算法原理

3 算法流程

4 算法的优势

二 朴素贝叶斯算法的扩展（推荐使用）

1 高斯朴素贝叶斯算法

2 伯努利朴素贝叶斯算法

3 多项式朴素贝叶斯算法

三 贝叶斯网络（随机变量的关系很难确定以及深度学习取代）

1 贝叶斯网络概念

2 常见的贝叶斯网络

1）简单的贝叶斯网络

2）全连接贝叶斯网络

3）正常的贝叶斯网络

3 判定两节点条件独立

1）给定节点c下，节点a与节点b时条件独立（tail-to-tail）

2）给定节点c下，节点a与节点b条件独立（head-to-tail）

3）在未知节点c下，节点a与节点b条件独立（head-to-head）

---

一 朴素贝叶斯算法（不推荐使用）

1 算法核心思想

• 基于朴素的这一假设，即假设特征之间相互独立
• 采用贝叶斯公式

2 算法原理

第一步：假定样本，其中表示样本第个特征，总共个特征

第二步：依据贝叶斯公式

第三步：依据朴素假设

第四步：当样本给定的时候

，其中表示常数

第五步：预测

3 算法流程

第一步：计算各个类别的概率

第二步：计算给定类别下各个特征的概率

第三步：进行预测

4 算法的优势

支持在线学习

二 朴素贝叶斯算法的扩展（推荐使用）

1 高斯朴素贝叶斯算法

1）当特征是连续值，且特征满足正态分布，此时

2）这里仅仅只要计算出下的即可（理论依据大数定理与中心极限定理）

2 伯努利朴素贝叶斯算法

1）当特征是连续值，但是具有很大的稀疏性（即0很多），可以暂且认为满足伯努利分布（0-1分布），将非0特征值当做1处理

2）当特征值是离散值，且满足伯努利分布（0-1分布）

3）这里仅仅只要计算出下的即可（理论依据大数定理与中心极限定理）

3 多项式朴素贝叶斯算法

1）当特征值是离散值，且满足多项分布（特征值取值个数为（））

：拉普拉斯平滑，防止出现的问题

2）这里仅仅只要计算出下的，即可（理论依据大数定理与中心极限定理）

三 贝叶斯网络（随机变量的关系很难确定以及深度学习取代）

1 贝叶斯网络概念

是指把系统中所涉及的随机变量，根据条件是否独立，绘制在一个有向无环图中，形成一个贝叶斯网络

注意：

• 两个节点之间以单向箭头连接，以表示因果关系
• 每个节点在给定直接前驱节点，直接前驱节点条件独立于其非直接后继节点（当两个节点间隔一个节点时候，这两个节点独立）

2 常见的贝叶斯网络

1）简单的贝叶斯网络

2）全连接贝叶斯网络

 

3）正常的贝叶斯网络

3 判定两节点条件独立

1）给定节点c下，节点a与节点b时条件独立（tail-to-tail）

2）给定节点c下，节点a与节点b条件独立（head-to-tail）

3）在未知节点c下，节点a与节点b条件独立（head-to-head）