最大似然估计

数学上对最大似然估计的定义，大家看看就好哈~

最大似然法（Maximum Likelihood，ML）也称为最大概似估计，也叫极大似然估计，是一种具有理论性的点估计法，此方法的基本思想是：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。

最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。

最大似然法明确地使用概率模型， 其目标是寻找能够以较高概率产生观察数据的系统发生树。 最大似然法是一类完全基于统计的系统发生树重建方法的代表。

1.1实例理解最大似然估计

经典例子1、老猎人和学生一起外出打猎，一只兔子在前方窜过，两声枪响，野兔应声倒下（被一发子弹打中）。

问：谁打中的？

答：可能是老猎人，因为老猎人比学生的更有经验。

 

经典例子2、

1.2最大似然估计数学原理及求解方式

已知样本集：D={x1, x2, x3, … ,xn}；

联合概率密度函数： L(θ)=p(D|θ)=p(x1, x2, x3, … ,xn |θ) = p(x1|θ) * p(x2|θ) * … * p(xn|θ) =；

（文字说明：P(D|θ)，称为相对{x1, x2, x3, … ,xn}的θ的似然函数。 “∏”代表“求乘积”）

解：（1）写出似然函数。如果是参数空间中能使似然函数L(θ)最大的θ值，则是‘最可能’的参数值，那么就是θ的极大似然估计量

             

      （2）对似然函数取对数，并整理。用L(θ)将连乘变成连加，便于计算：

              

      （3）当未知参数只有一个：求导数。（凸函数，当斜率=0时值最大）

               

      （4）当未知参数有多个：梯度

          

1.3例子

例1、设总体X的概率密度函数是,其中未知参数。x1, x2, x3, … ,xn是一组样本值，求参数∂的最大估计。