概率论-最大似然估计

机器学习EM算法以及逻辑回归算法模型参数的求解都用到了最大似然估计,本文讲解其原理。

极大似然估计,通俗理解来说,就是利用已知的样本结果信息反推最具有可能(最大概率)导致这些样本结果出现的模型参数值

换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。

最大似然估计通常是将目标函数转化为对数的形式,大大的简化了参数求解的运算。

概率论-最大似然估计

概率论-最大似然估计

概率论-最大似然估计

概率论-最大似然估计

下面给出两个示例,一个离散变量,一个连续变量的参数估计。

概率论-最大似然估计

概率论-最大似然估计

概率论-最大似然估计

概率论-最大似然估计

概率论-最大似然估计


参考:

本部分内容基本来源于 盛骤, 谢式千, 潘承毅《概率论与数理统计 第四版浙江大学》