自然语言期末复习笔记—最大熵马尔科夫模型MEMM

在这篇博客，我们来谈一谈最大熵马尔科夫模型MEMM
关于这部分内容，我看了一晚上，整个公式都都梳理了之后，愣是没明白这个最大熵体现在哪里，当然我最终查阅了很多资料，终于还是弄明白了，我会在这篇博客上详细讲解。不得不说一下，咱们国内的博客基本都是来自同一个资料源，就比如说这个最大熵马尔科夫模型，搜索来搜索去，都是拿复制转载，有的好的会加点自己的观点。
最大熵马尔科夫型MEMM

这个图是以序列标注为举例，与隐马尔科夫做对比。我们可以看到很大的不同是，序列标注是根据上一个状态和观察值来判定。
再来上一个图，可能可以给更清楚的认识

在这里我需要提醒以下我们看到一个状态的概率是前一个状态和和当前观察状态下的条件概率。P(S|O，M)，这个是一个很抽象的表达式，不要把他当成是HMM模型中那种频数相除。

这个是关于MEMM数学公式表达式。我们看到等式最右边那个是对通过特征函数做的归一化操作。
特征函数，我们在最大熵模型那篇博客里已经详细介绍过，在这里简单说说

到此就是我们求MEMM的过程。其实整个过程并不复杂，我写这篇博客重点也不是这个，我看到这之后我的疑问是最大熵马尔科夫模型之所以叫最大熵马尔科夫模型的原因，就是说，最大熵体现在哪里？ 对于这个解释，我翻了很多资料最终是在speech and language processing 这本书里看到了解释。