机器学习_贝叶斯网络、朴素贝叶斯分类器

贝叶斯网络

贝叶斯网络（Bayesian network），又称信念网络（belief network）或是有向无环图模型（directed acyclic graphical model），是一种概率图型模型。贝叶斯网络的关键在于网络结构和条件概率表。
下列为一个简单的贝叶斯网络：

有了网络结构和概率表就可以得到任意变量的联合概率分布。
例题：

通过贝叶斯网络确定条件独立

朴素贝叶斯分类器

朴素贝叶斯分类器采用了“条件独立性假设”。应用贝叶斯公式的有监督学习算法。求$P(y|x_1,x_2,...,x_n)$P(y∣x1​,x2​,...,xn​)。

利用贝叶斯公式由
$P(y|x_1,x_2,...x_n)=\frac{P(y)P(x_1,x_2,...x_n|y)}{P(x_1,x_2,...x_n)}$P(y∣x1​,x2​,...xn​)=P(x1​,x2​,...xn​)P(y)P(x1​,x2​,...xn​∣y)​
其中$x_1,x_2,...x_n$x1​,x2​,...xn​为给定样本的n个特征，我们要根据已给特征来判定该样本属于哪个类别的概率大。

根据"条件独立性假设"，对上式有
$P(y|x_1,x_2,...x_n)=P(y)\frac{\Pi _{i=1}^nP(x_i|y)}{P(x_1,x_2,...x_n)}$P(y∣x1​,x2​,...xn​)=P(y)P(x1​,x2​,...xn​)Πi=1n​P(xi​∣y)​
对于一个样本来说，无论他属于哪个类别，$P(x_1,x_2,...x_n)$P(x1​,x2​,...xn​)是相同的，因此我们可以得到

朴素贝叶斯分类器：
$P(y|x_1,x_2,...x_n)=\argmax_y P(y){\Pi _{i=1}^nP(x_i|y)}$P(y∣x1​,x2​,...xn​)=yargmax​P(y)Πi=1n​P(xi​∣y)

显然朴素贝叶斯分类器的训练方式，就是根据训练集样本，先验地给出$P(y)$P(y)，并为每个属性估计条件概率$P(x_i|y)$P(xi​∣y)。

• 令$D_c$Dc​表示训练集$D$D中类标签为c的样本的集合，则$P(c)$P(c)
  $P(c)=\frac{|D_c|}{|D|}$P(c)=∣D∣∣Dc​∣​
• 若特征为连续的，我们假设${P(x_i|y)} \to N(\mu_{c,i},\delta^2_{c,i})$P(xi​∣y)→N(μc,i​,δc,i2​)，其中$\mu_{c,i},\delta^2_{c,i}$μc,i​,δc,i2​表示第c类样本关于特征$x_i$xi​的均值和方差
• 若特征为离散的，令${|D_{c,x_i}|}$∣Dc,xi​​∣表示属于第c类的样本中，$x_i$xi​属性的个数。
  $P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$P(xi​∣c)=∣Dc​∣∣Dc,xi​​∣​
  • 注意：为避免其他属性携带的信息被训练集中未出现的属性值抹去，我们采用拉普拉斯平滑，令N表示类别数，$N_i$Ni​表示$x_i$xi​属性可能的取值数,则有
    $P(c)=\frac{|D_c|+1}{|D|+N}$P(c)=∣D∣+N∣Dc​∣+1​
    $P(x_i|c)=\frac{|D_{c,x_i}|+1}{|D_c|+N_i}$P(xi​∣c)=∣Dc​∣+Ni​∣Dc,xi​​∣+1​

举例说明：垃圾邮件分类