贝叶斯分析
1 先来说一下贝叶斯统计与经典统计的不同之处：
简单说，频率派认为估计对象（参数）是一个未知的固定值。而贝叶斯却认为未知的参数都是随机变量。
我曾经见到这么个不错的例子：我们要通过一些事实估计“爱因斯坦在1905年12月25日晚上八点吸烟”的真假。定义参数:
，吸烟；
，没吸烟。
那么频率派认为，爱因斯坦有没有曾经在这时刻吸烟是事实，是取值0或者1的固定数，不能说"
=1的概率是xxx"；然而贝叶斯派认为可以说“
=1概率是30%”。而且随着所得资料（样本x）的增多，我们可以把这个概率加以变化，记得到
的分布。这个概率其实是“信心”的含义。
2 奥卡姆剃刀
奥卡姆剃刀原则主张选择与经验观察一致的最简单假设，是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一直，则选最简单的那个”。
举个例子。假如有一些连续点，可以用二次或更复杂的函数拟合，那么就用二次函数来拟合。
问题是，怎么判断，哪一个假设更“简单”？ 这就要用其他机制来来解决了，这个问题也一直困扰者研究者们，因此，对奥卡姆剃刀在机器学习领域的作用，一直存在争议。