朴素贝叶斯法
贝叶斯定理
贝叶斯定理(Bayes’ theorem): 实际上就是计算”条件概率”的公式。
所谓”条件概率”(Conditional probability),就是指在事件B发生的情况下,事件A发生的概率,用P(A|B)来表示。
最后得到条件概率计算公式为:
贝叶斯推断
全概率公式:
假定样本空间S,是两个事件A与A’的和。在这种情况下,事件B可以划分成两个部分。
最后得到全概率计算公式为:
它的含义是,如果A和A’构成样本空间的一个划分,那么事件B的概率,就等于A和A’的概率分别乘以B对这两个事件的条件概率之和。
贝叶斯推断(Bayesian inference):
对条件概率公式进行变形,可以得到如下形式:
我们把P(A)称为“先验概率”(Prior probability),即在B事件发生之前,我们对A事件概率的一个判断。P(A|B)称为“后验概率”(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。P(B|A)/P(B)称为“可能性函数”(Likelyhood)(似然),这是一个调整因子,使得预估概率更接近真实概率。
所以,条件概率可以理解成下面的式子:
后验概率 = 先验概率 x 调整因子
这就是贝叶斯推断的含义:我们先预估一个”先验概率”,然后加入实验结果,看这个实验到底是增强还是削弱了”先验概率”,由此得到更接近事实的”后验概率”。
在这里,如果”可能性函数”P(B|A)/P(B)>1,意味着”先验概率”被增强,事件A的发生的可能性变大;如果”可能性函数”=1,意味着B事件无助于判断事件A的可能性;如果”可能性函数”<1,意味着”先验概率”被削弱,事件A的可能性变小。
朴素贝叶斯法
朴素贝叶斯法(naive Bayes): 基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。
问题描述:
输入:训练数据
其中
输出:实例
推导:
先验概率分布:
由条件独立性假设可得条件概率分布为:
则根据贝叶斯定理可得后验概率分布(即朴素贝叶斯分类的基本公式)为:
将后验概率最大的类作为x的类输出,则朴素贝叶斯分类器可以表示为:
由于上式中分母对所有的
算法过程:
(1)计算先验概率及条件概率(利用最大似然估计法估计)
先验概率
条件概率
(总共要计算
(2)对于给定的实例
(3)确定实例
贝叶斯估计
用最大似然估计计算条件概率时可能会出现所要估计的概率为0的情况,这时会影响到后验概率的计算结果,使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。具体的,
条件概率的贝叶斯估计为:
先验概率的贝叶斯估计为:
通常取