似然与最大似然估计

1.概率与似然

概率

probility 与 likelihood生活中均指可能性。统计学上，概率指已知分布前提下，事件的可能性。
如下图，已知某物体重量的高斯分布，可得到重量X在32-34之间的概率P(32<X<34|u=32，σ=2.5)。

似然

似然反之，则是代表已知观测结果，该观测结果属于某种参数的分布的可能性。即P(u=U，σ=n|X=x).
下图中，随着分布的移动，同一个观测结果对应不同分布的似然随之变化。

总结

概率指确定分布下随机变量的可能性，可视为由因推果。
似然指确定观测结果下对应不同分布的可能，可视为由果推因。

2.最大似然估计

假设已知观测结果，以及样本对应分布的形式，且所有的采样都是独立同分布，但是分布的具体参数未知，需要估计分布的参数。一个简单的想法是，既然正好这组观测结果已经发生，就把它对应的未知参数的分布中，使得当前观测结果发生概率最大的分布的参数作为估计参数。也即在当前观测结果已知前提下，求得似然最大的分布参数。

上图中，左右移动高斯分布，即改变其中心值，则已观测的样本对应似然随之改变，此时直觉的想法是将使得似然最大值
对应的参数u作为高斯分布均值的估计值。
同理，改变分布的标准差，样本对应的似然也不同，将似然最大时对应的标准差作为当前样本对应高斯分布的标准差估计值。

数学上，既可以通过对似然函数求极值来得到参数的估计值。由于样本包含多个，此时似然函数一般为连乘的形式，一般通过取对数转换为求和，从而对参数求偏导得到极值。