2) 贝叶斯(Bayes)分类器

一、贝叶斯是谁？

参考地址：http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html

    贝叶斯(约1701-1761) Thomas Bayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。

补充说明：[1]  神父（Father），即神甫，司祭、司铎的尊称,是一个教堂的负责人。介于主教与助祭之间，属七级神品。是罗马天主教和东正教的宗教职位。千百年来只有男修士才可担当此职位。天主教拉丁礼部的神父终身不可结婚，而东正教的白衣神父可以在晋铎前结婚，但主教只能在独身者中挑选。神父除了要主持弥撒及婚礼外，为垂危者祈祷、告解、临终圣事甚至驱魔也是神父的职务。教徒们认为神父是教会内有神权的人，是他们灵魂上的父亲，可以代表天主"赦他们的罪"。神父的职权是管理本堂所辖区教徒，进行传教活动。有付"圣洗"、听"告解"、傅"终傅"、成"圣体"、祝福"婚配"之权，如受主教委托亦可"坚振"，但无授予"神品"之权。

什么是贝叶斯推断？

贝叶斯推断与其他统计学推断方法截然不同。

它建立在主观判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。

正是因为它的主观性太强，曾经遭到许多统计学家的诟病。

贝叶斯推断需要大量的计算，因此历史上很长一段时间，无法得到广泛应用。

只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法事先进行客观判断的，而互联网时代出现的大型数据集，再加上高速运算能力，为验证这些统计量提供了方便，也为应用贝叶斯推断创造了条件，它的威力正在日益显现。

二、贝叶斯定理

要理解贝叶斯推断，必须先理解贝叶斯定理。后者实际上就是计算"条件概率"的公式。

所谓"条件概率"（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

    

 

公式的推导过程：

根据上图知道： 

P(A*B) 表示 A和 B 同时发生的概率

P(A) 表示 A发生的概率

P(B) 表示 B发生的概率

原始定义： P(A*B)/P(A) 表示 在 A发生的前提下，B发生的概率，即： P(B|A)

原始定义： P(A*B)/P(B) 表示 在 B发生的前提下，A发生的概率，即： P(A|B)

___________________________

因为：

P(A|B) = P(A*B) / P(B)  

P(B|A) = P(A*B) / P(A)

所以： P(A*B) = P(A|B)*P(B) = P(B|A)*P(A) 

____________________________________________

我们把P(A)称为"先验概率"（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。

P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。

P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

所以，条件概率可以理解成下面的式子：

　　后验概率　＝　先验概率 ｘ 调整因子

这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。

在这里，如果"可能性函数"P(B|A)/P(B)>1，意味着"先验概率"被增强，事件A的发生的可能性变大；如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。 例如（碗和糖的故事； 可以分析概率的增强和减弱。）

   

 

 

 

统计学分类

 

Bayes Rule （贝叶斯公式）

Bayes Rule

贝叶斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)

现在我们可以变形得到：   P(A|B)*P(B)=P(B|A)*P(A)

那么，他们之间有什么联系呢？

例如：一座别墅在过去的 20 年里一共发生过 2 次被盗，别墅的主人有一条狗，狗平均每周晚上叫 3 次，在盗贼入侵时狗叫的概率被估计为 0.9，问题是：在狗叫的时候发生入侵的概率是多少？

原理通俗的解释 ：（最终相等：  （狗叫+入侵 ）/ 所有事件= （入侵+狗叫）/ 所有事件   ）

狗叫的前提条件中  -->  入侵的概率 =  入侵/(入侵和非入侵)     （前提条件：狗叫）

入侵的前提条件中 -->   狗叫的概率 =  狗叫/(狗叫和狗不叫)     （前提条件：入侵）

 

我们围绕等式计算：

 

B表示狗叫  ，A表示入侵

P(B) 狗叫  ：  狗平均每周晚上叫 3 次  = 3/7

P(A|B) 狗叫&入侵 ：  ？

P(A) 入侵 ： 20 年里一共发生过 2 次被盗   = 2/(20*365)    <365表示天，与等式左边对应>

P(B|A) 入侵&狗叫 ： 入侵时狗叫的概率被估计为 0.9   = 0.9

 

等式的推导过程： （狗叫+入侵 ）/ 所有事件= （入侵+狗叫）/ 所有事件  

                   3/7 * ? = 2/(20*365) * 0.9

                   ? =   2/(20*365) * 0.9 /(3/7)

公式推论出来勒：  P(A|B)  =  P(B|A) * P(A) /P(B)

 

理解了吗？理解了请继续看第2题，没理解的可以再看一遍第1题，看完还是不懂，再看第2题，请保持多思考！

 

2、现分别有 A，B 两个容器，在容器 A 里分别有 7 个红球和 3 个白球，在容器 B 里有 1 个红球和 9 个白球，现已知从这两个容器里任意抽出了一个球，且是红球，问这个红球是来自容器 A 的概率是多少?

原理通俗的解释 ：（最终相等：  （红球+容器A ）/ 所有事件= （容器A+红球）/ 所有事件   ）

红球的前提条件中  -->  容器A的概率 =  容器A/(容器A和容器B)     （前提条件：红球）

容器A的前提条件中 -->   红球的概率 =  红球/(红球和白球)     （前提条件：容器A）

 

我们围绕等式计算：

 

B表示红球  ，A表示容器A

P(B) 红球  ：  红球的概率 =  8/20

P(A|B) 红球&容器A ：  ？

P(A) 容器A ： 选中容器A的概率  = 10/20     (因为就容器A 10，总过 20个球，出现在A的概率是 10/20)

P(B|A) 容器A&红球 ： 容器A中的红球  =  7/10

 

 

等式的推导过程： （红球+容器A ）/ 所有事件= （容器A+红球）/ 所有事件    

                   8/20 * ? = 1/2 * 7/10

                   ? =   10/20 * 7/10 /(8/20)

公式推论出来勒：  P(A|B)  =  P(B|A) * P(A) /P(B)