朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯原理与特征独立假设的分类方法。
朴素贝叶斯法通过训练数据集的学习联合概率分布P(X,Y)。
一、朴素贝叶斯算法学习过程:
1.学习先验概率分布:,
2.学习条件概率分布:
3.对给定的新数据x输入,列出x对应后验概率公式,使得后验概率最大化的类作为x的输出。直观理解:在x这个输入条件下,根据训练数据集的分布情况,找出使x最大化后验概率的输出Y类别,即是对X的预测输出。
x的后验概率:,其中分子的前半部分是前面所求的条件概率分布,后半部分是前面所求的先验概率分布。
4.应用朴素贝叶斯的“朴素”:对条件概率分布做了独立性假设,假设各个特征间独立,数学表达式:
5.将4中的等式带入3中,
6.贝叶斯分类器可表示为:,即最大化后验概率。
对于分母,所有的都是相等的,累加起来是一个常量,于是可简化为
输出:求出最大化分类器的y所属的值,便是对x预测的输出。
二、最大化后验概率的意义
在上面的3中给出了一种对于最大化后验概率自己的一种直观理解,下面是对于后验概率最大化的类就是x对应最可能的输出的数学推导: