Naive Bayes（Simple Example）

1 假设

计算 $P (X | C_{i})$ ,朴素贝叶斯分类假设类条件独立，即给定样本属性值相互条件独立。

P (x_{1}, \dots, x_{k} | C_{i}) = P (x_{1} | C_{i}) \cdot \dots \cdot P (x_{k} | C_{i})

2 Notion

贝叶斯定理：

P (C_{i} | X) = \frac{P (X | C_{i}) \cdot P (C_{i})}{P (X)} = \frac{P (X | C_{i}) \cdot P (C_{i})}{\sum_{j = 1}^{c} P (X | C_{j}) \cdot P (C_{j})}

$i$ 表示 $l a b e l$ 的类别数

$j$ 也表示 $l a b e l$ 的类别数，只是为了区别于 $i$

先验概率 $p r i o r p r o b a b i l i t y$ ： $P (C_{i})$

概率密度函数 $p r o b a b i l i t y d e n s i t y f u n c t i o n$ : $P (X | C_{i})$

后验概率 $p o s t e r i o r i p r o b a b i l i t i e s$ ： $P (C_{i} | X)$

总结，根据先验概率和概率密度函数，计算后验概率

eg: 对于一个二分类问题， $y e s o r n o$ ，对应的贝叶斯公式如下

P (Y e s | X) = \frac{P (X | Y e s) \cdot P (Y e s)}{P (X)} = \frac{P (X | Y e s) \cdot P (Y e s)}{P (X | Y e s) \cdot P (Y e s) + P (X | N o) \cdot P (N o)}

P (N o | X) = \frac{P (X | N o) \cdot P (N o)}{P (X)} = \frac{P (X | N o) \cdot P (N o)}{P (X | Y e s) \cdot P (Y e s) + P (X | N o) \cdot P (N o)}

如果 $P (Y e s | X) > P (N o | X)$ ，分类结果为 $Y e s$ ，反之结果为 $N o$

3 Simple Example

对 $X = {G e n d e r = F e m a l e, I n c o m e = H i g h, A g e = M i d d l e}$ 计算分类结果 $Y e s o r N o$

$P (Y e s) = 3 / 6$

由图知

$P (G e n d e r = F e m a l e ∣ Y e s) = 2 / 3$

$P (I n c o m e = H i g h ∣ Y e s) = 3 / 3$

$P (A g e = M i d d l e ∣ Y e s) = 1 / 3$

所以

P (X ∣ Y e s) \cdot P (Y e s) = P (G e n d e r = F e m a l e ∣ Y e s) \cdot P (I n c o m e = H i g h ∣ Y e s) \cdot P (A g e = M i d d l e ∣ Y e s) \cdot P (Y e s) = \frac{2}{3} \times \frac{3}{3} \times \frac{1}{3} \times \frac{3}{6} \approx 0.111

$P (N o) = 3 / 6$

由图知

$P (G e n d e r = F e m a l e ∣ N o) = 1 / 3$

$P (I n c o m e = H i g h ∣ N o) = 1 / 3$

$P (A g e = M i d d l e ∣ N o) = 2 / 3$

所以

P (X ∣ N o) \cdot P (N o) = P (G e n d e r = F e m a l e ∣ N o) \cdot P (I n c o m e = H i g h ∣ N o) \cdot P (A g e = M i d d l e ∣ N o) \cdot P (N o) = \frac{1}{3} \times \frac{1}{3} \times \frac{2}{3} \times \frac{3}{6} = 0.037

P (Y e s | X) = \frac{P (X | Y e s) \cdot P (Y e s)}{P (X | Y e s) \cdot P (Y e s) + P (X | N o) \cdot P (N o)} = \frac{0.111}{0.111 + 0.037} = 75 %

P (N o | X) = \frac{P (X | N o) \cdot P (N o)}{P (X | Y e s) \cdot P (Y e s) + P (X | N o) \cdot P (N o)} = \frac{0.037}{0.111 + 0.037} = 25 %

因为

$P (Y e s | X) > P (N o | X)$

所以

分类结果为 $Y e s$

4 基于最小错误率的贝叶斯决策

为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得。这是因为计算概率都要拥有大量数据才行。在估计先验概率与类条件概率密度函数时都可搜集到大量样本，而对某一特定事件(如x)要搜集大量样本是不太容易
的。因此只能借助Bayes公式来计算得到。

对基于最小错误率的贝叶斯决策来说，以后验概率值的大小作判据是最基本的方法，而其它形式的作用（如下）都基本相同，但使用时更方便些。

(1)
Naive Bayes（Simple Example）

Naive Bayes（Simple Example）

(4) 似然比的负对数 -ln

Naive Bayes（Simple Example）

如下图所示

Naive Bayes（Simple Example）
阴影处就是p(e)

也可以写成
Naive Bayes（Simple Example）

4 基于最小风险贝叶斯决策

加了权重

在决策中，除了关心决策的正确与否，有时我们更关心错误的决策将带来的损失。比如在判断细胞是否为癌细胞的决策中，若把正常细胞判定为癌细胞，将会增加患者的负担和不必要的治疗，但若把癌细胞判定为正常细胞，将会导致患者失去宝贵的发现和治疗癌症的机会，甚至会影响患者的生命。这两种类型的决策错误所产生的代价是不同的。

考虑各种错误造成损失不同时的一种最优决策，就是所谓的最小风险贝叶斯决策。设对于实际状态为wj 的向量xx采取决策αi 所带来的损失为

Naive Bayes（Simple Example）
该函数称为损失函数，通常它可以用表格的形式给出，叫做决策表。需要知道，最小风险贝叶斯决策中的决策表是需要人为确定的，决策表不同会导致决策结果的不同，因此在实际应用中，需要认真分析所研究问题的内在特点和分类目的，与应用领域的专家共同设计出适当的决策表，才能保证模式识别发挥有效的作用。
对于一个实际问题，对于样本xx，最小风险贝叶斯决策的计算步骤如下：
（1）利用贝叶斯公式计算后验概率：
Naive Bayes（Simple Example）