为什么似然函数要连乘并求最大?
射击实验,假设采样的击中次数概率如下图,真实概率分布式为红线:
假设概率分布:
P{X=k}=C0kPk(1−P)10−k
![最大似然估计法回顾 最大似然估计法回顾](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzM0OS83YjU0OWI3Y2FjYmJkZjgxNDVjZWEwYWY2NjdiYjk0ZC5wbmc=)
若果有k=4,5,6的概率值,那么求似然函数:
L(P)=C104P4(1−P)6⋅C105P5(1−P)5⋅C106P4(1−P)4
![最大似然估计法回顾 最大似然估计法回顾](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzE0Ny8yMzVhMzE4ZWQyYWNhYTVkN2JmMjIxMTFjMDA4ZjVkMy5wbmc=)
可以看到L(0.5) > L(0.3),L(0.5) > L(0.7),而当p=0.5时,L(0.5)达到最大,也就是说估计的参数和真实的概率分布是极其相似的,事实上射击击中概率就是0.5
步骤
- 写出似然函数:
L(θ)=L(x1,x2,…,xn;θ1,θ2,…,θm)=∏i=1nP(xi;θ1,θ2,…,θm)(离散型)
L(θ)=L(x1,x2,…,xn;θ1,θ2,…,θm)=∏i=1nf(xi;θ1,θ2,…,θm)(连续型)
- 取对数lnL
- 对θ1,θ2,…,θm 求偏导数 ∂θi∂lnL,i=1,2,…,m
- 判断方程组 ∂θi∂lnL 是否有解.若有解,则其解即为所求最大似然估计 ; 若无解,则最大似
然估计常在 θi 的边界点上达到。
练习
设总体 X 的分布律为 P{X=k}=p(1−p)k−1,k=1,2,⋯, 其中 p 为未知参数,X1,X2,⋯,Xn 为来自总体 X 的简单随机样本,求参数 p 的矩估计量和极大拟然估计量。
【解】
(1) EX=∑k=1∞kp(1−p)k−1=p(∑k=1∞xk)′∣∣∣x=1−p=p(1−xx)′∣∣∣x=1−p=p1
令 EX=Xˉ⇒p^=Xˉ1
(2) L(x1,x2,⋯,xn;p)=P{X=x1}P{X=x2}⋯P{X=xn}=pn(1−p)x1+x2+⋯+xn−n,
lnL=nlnp+(x1+x2+⋯+xn−n)ln(1−p),
dpdlnL=pn−1−px1+x2+⋯+xn−n=0⇒p^=x1 (最大似然估计值 )
p^=Xˉ1 (最大似然估计量)。
参考:最大似然估计