EM算法的应用--高斯混合模型学习

适用问题

高斯混合模型：

P (y ∣ θ) = \sum k = 1 K α k ϕ (y ∣ θ k)

可以视为由不同模型参数θk=(μk,σ2k)构成的不同高斯分布，由不同的权重αk来共同决定y的概率。
算法需要输入观测数据y1,y2....yn和高斯混合模型，得到该混合模型的参数α,μ,σ

EM算法的应用--高斯混合模型学习

实质上是无监督的EM模型

观测数据yj来自第k个分模型的概率是未知的可以视为隐变量
定义γjk为，若观测数据yj来自第k个分模型，则γjk=1 否则为0

要套用EM的算法需要知道P(y,γ∣θ)和P(γ∣y,θ)

P(y,γ∣θ)=∏Nj=1P(y,γj1,γj2...γjk,∣θ)

=∏Nj=1P(y,γj1∣θ)P(y,γj2∣θ)....P(y,γjk∣θ)

=∏Kk=1∏Nj=1[akϕ(y∣θk)]γjk
带入高斯混合模型若观测数据不来自该分布，则指数为0

带入高斯分布公式，即可获得关于αk,μk,σk的P(y,γ∣θ)

在统计学习方法中作者直接使用对Z的期望计算Q，但实际上E(γjk)依旧是需要使用P(γ∣y,θ) 获得

EM算法的应用--高斯混合模型学习

Eγjk=P(γjk=1∣y,θ)
EM算法的应用--高斯混合模型学习

带入后即可获得Q函数分别令对αk,μk,σk 偏导为零即可获得下一步迭代的 θk

参考资料：李航《统计学习方法》