1.1说明伯努利模型的极大似然估计、贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0和1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果中有k次结果为1。尝试用极大似然估计或贝叶斯估计来估计结果为1的概率。

解：统计学习方法三要素：模型、方法、算法

就我对书中1.3章理解来说：

1）模型方面：贝叶斯估计与最大似然估计最后寻找都是条件概率

2）方法：最大似然估计是经验风险最小化，贝叶斯是结构风险最小化

3）算法：最大似然估计就是显式的解析解，贝叶斯是用数值计算的方法求解

题意可知伯努利模型的0，1值的概率分布为：

（1）求极大似然函数估计值的一般步骤：

（1） 写出似然函数；

（2） 对似然函数取对数，用ln求导简单，并整理；

（3） 求导数,一阶导数等于0只是有极值的必要条件,所以还要求二阶偏导，这里不求了，能理解就可以，对求偏导；

 

（4） 这边肯定为最大值，解似然方程 ，让其等于0

   ，   ，    

则最大似然估计出1的概率为

（2）求贝叶斯估计：

我们需要先验概率分布，似然函数，首先引入贝塔分布（Beta Distribution) 是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数(其中的B(a,b)是归一化常数)，那么服从贝塔分布， ；

又从题意可知实验数据概率分布，则贝叶斯估计为： ，相当于，

，B(a,b)可以不考虑，是个常数；

依旧对上式ln对数 求导等于0：

字是有那么一点丑，不喜勿喷

那么贝叶斯估计出现1的几率最大为，在概率分布上找到a，b就能确定。

 

1.2通过经验风险最小化推导极大似然估计。证明模型是条件概率分布的，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。（不做，不会严谨的推导）