图像处理基础知识系列之四：最大似然和EM（期望最大化）算法简单梳理

    

      最大似然估计（Maximum likelihoodestimation），还可以翻译为最大可能估计，主要算法原理是通过已有的数据项估算函数表达式，且保证已有数据项在函数中出现的概率最大（似然），即函数最接近理想函数。

      EM算法，指的是最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，在统计学中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。

      这里主要想通过选取特殊的单高斯函数和混合高斯函数为例尝试从另一种角度简单解释梳理。

     

   最大似然：

      已知要处理的函数为单高斯模型函数，函数符合

                                                     （这个公式有个大概印象，在本篇中用不到）

      已知x1,x2,推导单高斯模型函数的θ，包括（μ，σ）。见下图，这里横坐标参数包含(x1,x2)的高斯模型函数有无数种（图中画出了三种），哪个函数符合最大似然呢?(x1,x2在哪个函数中同时出现的几率最大呢？)其中x1,x2在每种不同正态函数中对应的位置不同，y值不同，即概率p不同（这里的正态分布函数可理解等价为概率密度函数，f(x)=p(x))。

      设x1,x2属于某个正态函数 fi(x) 的概率为o= fi(x1) · fi(x2) ,这里求取的最大似然函数即是保证o的取值为最大，变为求取函数o的极值问题，求导取零点。这里根据经验判断，应该是μ处于x1,x2中心的函数（紫色的函数），概率乘积最大，道理类似4*4>3*5>2*6（两个和相等的数，取乘积最大）。具体公式推导过程见文末文献。(这里讲的最大似然是x1,x2最终通过公式推导属于这个函数的几率最大，但实际情况是在小概率情况下，x1,x2,不一定是属于这个函数）。

      EM：

        上面是简单情况，即未知函数是单高斯模型，假设是混合高斯模型，怎么求最大似然呢？这里选取的数据增加为8个，(x1,x2,x3,x4,x5,x6,x7,x8),混合高斯模型简化为两个单高斯模型的叠加(不失一般性）(见下图），再按照上面的套路进行推导，首先出现的一个问题是每个数据的高斯模型确定不了，最大似然中因为是单高斯模型，所以函数（也就是θ）固定，直接概率可以乘积，这里进行这一步的时候首先要确定数据属于混合高斯模型中的哪一个具体高斯模型（即判断x属于混合高斯中的θ1还是θ2）。这里属于哪个模型的参数叫做隐含变量，用Q表示。最大似然中求取符合条件的θ，这里求取θ（θ1，θ2）和Q，怎么下手呢？迭代。首先人工赋予θ（θ1，θ2）初始值，再根据条件逐步迭代，最终找到符合条件的数据分布（这里为什么叫期望最大化，与推导公式有关）。

        EM算法分为两个步骤：

        E步骤：根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率，其实就是隐性变量的期望。作为隐藏变量的现估计值；

        M步骤：将似然函数最大化以获得新的参数值。

      下面通过一个图将过程梳理：

      

       这里选取最大似然和EM中函数是高斯函数模型的特例，对于算法的实现过程进行简单梳理，力求明确清楚，但对与深入研究算法是不够的，具体原理和公式推导过程参见：

         
       可乐LL        最大似然估计(Maximum likelihood estimation)
        zouxy09      从最大似然到EM算法浅解。