最大熵模型(Maximum Entropy Model)---笔记
-
最大熵模型和逻辑回归模型都是线性对数模型，一般应用在分类问题中，这两个模型都具有很好的分类能力。在我看来都是具有一个比较特殊的分布函数或者分布特征，很适合分类。其中，最大熵模型(Maximum Entropy Model)由最大熵原理推导实现。此外，最大熵原理指：学习概率模型时， 在所有可能的概率模型(分布)中， 熵最大的模型是最好的模型， 表述为在满足约束条件的模型集合中选取熵最大的模型。
-
假设离散随机变量X的概率分布是P(X)，熵为：
约束条件为：
其中，|X|是X的取值个数， X均匀分布时右边等号成立，等式成立意味着此时的熵最大。 -
最大熵模型的定义：
-
最大熵模型的学习：最大熵模型的学习有两种方式，可以通过对数似然函数极大化或者转化为拉格朗日对偶问题极大化求解，将约束问题转化为无约束的对偶问题（实际上很多约束问题的求解都是通过转化为拉格朗日对偶的无约束问题解决）。所以最大熵模型的求解也是类似。具体为：首先，最大熵模型的学习可以形式化为约束最优化问题。其次，对于给定的数据集以及特征函数： fi(x,y)。所以最大熵模型的学习等价于约束最优化问题，如下：
接着上面的约束问题，将约束最优化的原始问题转换为无约束最优化的对偶问题,通过求解对偶问题求解原始问题，引进拉格朗日乘子， 定义拉格朗日函数：
将最优化原始问题到对偶问题：
L(P,w)是P的凸函数， 解的等价性（证明部分可以参考SVM的相关文献介绍）
注：本文的内容只是自己学习过程的一个总结，根据自己的学习感悟进行总结，以便自己日后好复习巩固，如有不对之处，敬请谅解，感谢李航老师的书籍和袁春老师的课件，让我学习到很多知识。
参考文献：
- 统计学习方法 [M]. 李航，
- 统计学习方法课件，袁春.