EM算法-细节讲解公式推导

EM算法：

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望；M步，求极大。所以这一算法称为期望极大算法（expectation maximizaiton）。

EM算法的引入：

概率模型有时候含有观测变量，又含有隐变量或潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计方法估计模型参数，但是当模型含有隐变量时，就不能简单的使用这些方法，EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法，我们讨论极大似然估计，极大后验概率估计与其类似。参考统计学习方法书中的一个例子来引入EM算法，假设有3枚硬币，分别记做A、B、C，这些硬币正面出现的概率分别是π、p、q。进行如下实验：

先投掷硬币A，根据结果选出硬币B或C，正面选硬币B、反面选硬币C。

通过选择出的硬币，掷硬币，硬币出现的结果为正面记作1，反面记作0，如此独立重复的进行n次试验。规定n=10，则这10次的结果如下所示：1、1、0、1、0、0、1、0、1、1.

假设只通过观测到掷硬币的结果，不能观测掷硬币的过程，文如何估计三个硬币出现正面的概率？我们来构建一个模型：

EM算法-细节讲解公式推导