联合熵、条件熵、互信息、相对熵、交叉熵的详解

本篇博客，我们将介绍联合熵、条件熵、互信息、相对熵、交叉熵，如果对熵的概念还有不清楚的朋友，可以看一下这一篇博客，信息熵是什么呢？

https://blog.****.net/ding_programmer/article/details/89785319

联合熵

两个离散随机变量  和  的联合概率分布函数为 ，则联合熵 (Joint Entropy) 为：

 

联合熵实际上就是描述一对随机变量平均所需要的信息熵。

 

条件熵

条件熵 (Conditional Entropy)  表示在已知随机变量 的条件下随机变量 的不确定性。

 

条件熵和联合熵之间的关系 :

 

 

互信息

两个离散随机变量 和  的互信息 (Mutual Information) 为：

    或者    

上述公式的推导可以从Vnn 图中看出来

比较有意思的是;

这就是为什么熵叫作自信息了 ，另一方面 说明了 两个完全相互依赖的变量之间的互信息并不是一个常量，而是取决于它们的熵。由此可见 互信息 其实是 度量两个随机变量之间的统计相关性。

 

相对熵

相对熵 (Relative Entropy) 也称 KL 距离，设  是离散随机变量  的两个概率分布，则 对   的相对熵是

 

其中

 

交叉熵

交叉熵是用来衡量估计模型于真实概率分布之间差异情况的。如果一个随机变量 为用于近似的概率分布，那么 和模型 之间的交叉熵 (cross entropy) 可以定义为

 

可以看出 估计模型   和 真实模型  之间的差异 。