统计学习方法——朴素贝叶斯

一、朴素贝叶斯原理

生成模型

统计学习方法——朴素贝叶斯

A、后验概率最大化的含义

统计学习方法——朴素贝叶斯参考《统计学习方法》李航P48

B、朴素贝叶斯法中参数的估计

极大似然估计

计算如下:

统计学习方法——朴素贝叶斯

贝叶斯估计

(由于极大似然估计可能会出现求出来结果为0的情况,为了解决这一问题可以采用贝叶斯估计)具体如下:

 假设ajl可能有Sj(第j个特征下值的种类数量)个可能值,假设ck可能有K(类的种类)个可能值,那么:

统计学习方法——朴素贝叶斯

上面式子中的λ≥0λ≥0,λ=0λ=0时就是极大似然估计,λ=1λ=1时就是拉普拉斯平滑。

二、朴素贝叶斯算法步骤

统计学习方法——朴素贝叶斯