您的位置: 首页  >  文章  >  2-2 混合高斯模型Gaussian Mixture Model

2-2 混合高斯模型Gaussian Mixture Model

分类: 文章 • 2024-09-26 16:35:11

2-2 混合高斯模型Gaussian Mixture Model

GMM模型介绍

GMM可以描述为：
2-2 混合高斯模型Gaussian Mixture Model
2-2 混合高斯模型Gaussian Mixture Model
训练目标：
2-2 混合高斯模型Gaussian Mixture Model
并且满足：
2-2 混合高斯模型Gaussian Mixture Model
在限制条件下，不适合采用随机梯度下降Stochastic Gradient Descent，很难保证Σ_k≻0恒大于0。下面采用期望最大化方法Expectation Maximization。

训练GMM模型

引入隐含变量t

在这里我们引入隐含变量t，如下图。根据该模型可得，
2-2 混合高斯模型Gaussian Mixture Model2-2 混合高斯模型Gaussian Mixture Model

EM方法训练GMM模型

1）如何估计θ？
假设t已知，并且给定该点所属分类的概率p(t=c|x_i,θ)，则
2-2 混合高斯模型Gaussian Mixture Model
在这里如果为协方差怎么得到？
2）如何估计p(t=c│x_i,θ)？
假设已知θ，则
2-2 混合高斯模型Gaussian Mixture Model
其中，第一步的推导是根据贝叶斯公式，
2-2 混合高斯模型Gaussian Mixture Model
从而，
2-2 混合高斯模型Gaussian Mixture Model

小结

EM方法用于估计GMM参数过程如下：
1）初始化参数θ（当选择不同的初始值，效果不一样，可能陷入局部最优）
2）在收敛之前一直重复以下两个步骤
a 对于每个点计算p(t=c│x_i,θ)
b 更新参数θ

相关推荐