概率图模型之隐马尔科夫模型浅析

概率图模型是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的是用一个节点表示一个或一组随机变量，节点之间的边表示变量间的概率相关关系，即“变量关系图”。根据边的性质不同，概率图模型可大致分为两类：第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网。第二类是使用无向图表示变量间的依赖关系，称为无向图模型或马尔科夫网。

隐马尔科夫模型（Hidden Markov Model,HMM）是结构最简单的动态贝叶斯网，这是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。

如上图所示，隐马尔可夫模型中的变量可分为两组。
第一组是状态变量{y₁ ,y₂, … , y_n}，其中y_i表示第i时刻的系统状态，通常嘉定状态变量是隐藏的，不可被观测的，因此状态变量也称作隐变量。
第一组是状态变量{x₁ ,x₂, … , x_n}，其中x_i表示第i时刻的观测值。在隐马尔科夫模型中，系统通常在多个状态{s₁ ,s₂, … , s_N}之间转换，因此状态变量y_i的取值范围通常是有N个可能取值的离散空间。观测变量x_i 可以是离散型也可以是连续型。
上图的箭头表示了变量间的依赖关系。在任一时刻，观测变量的取值仅依赖于状态变量，即 x_t 由 y_t 决定，与其他状态变量及观测值无关同时，t 时刻的状态 y_t 仅依赖于 t-1 时刻的状态 y_t-1 ，与此前 t-2 个状态无关，这就是所谓的马尔科夫链。即：系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态。基于这种依赖关系，所有变量的联合概率分布为：

除了结构信息，想要确定一个隐马尔科夫模型还需要以下三组参数：

1. 状态转移概率：模型在各个状态间转换的概率，通常记为矩阵 A = [ a_ij ]_N*N ，其中
   
   表示在任意时刻 t ，如果状态为 s_i ，则在下一时刻状态为 s_j 的概率

2. 输出观测概率：模型根据当前状态获得各个观测值的概率，通常记为矩阵 B=[ b_ij ]_N*M ，其中，
   
   表示在任意时刻 t ，若状态为 s_i ，则观测值 o_j 被获取的概率。

3. 初始状态概率。模型在初始时刻各状态出现的概率，通常记为：
   
   其中，
   
   表示模型的初始状态为 s_i 的概率。

通过指定状态空间Y，观测空间X和上述三组参数，就能确定一个隐马尔科夫模型。通常用参数

来指代。给定隐马尔科夫模型lambda，它按如下过程产生观测序列{x₁ ,x₂, … , x_n}：
（1）设置t=1，并根据初始状态概率选择初始状态 y₁
（2）根据状态 y_t 和输出观测概率 B选择观测变量取值 x_t
（3）根据状态 y_t 和状态转移矩阵A转移模型状态，即确定y_t+1
（4）若 t<n，设置 t=t+1，并转到（2），否则通知。