统计学习方法——朴素贝叶斯
一、朴素贝叶斯原理
生成模型
A、后验概率最大化的含义
参考《统计学习方法》李航P48
B、朴素贝叶斯法中参数的估计
极大似然估计
计算如下:
贝叶斯估计
(由于极大似然估计可能会出现求出来结果为0的情况,为了解决这一问题可以采用贝叶斯估计)具体如下:
假设ajl可能有Sj(第j个特征下值的种类数量)个可能值,假设ck可能有K(类的种类)个可能值,那么:
上面式子中的λ≥0λ≥0,λ=0λ=0时就是极大似然估计,λ=1λ=1时就是拉普拉斯平滑。
二、朴素贝叶斯算法步骤