信息量的定义

某事件发生的概率小，则该事件的信息量大。
定义随机变量X$X$的概率分布为P(X)$P\left(X\right)$,X$X$的信息量为：h(X)=−log2P(X)$h\left(X\right)=-{\log }_{2}P\left(X\right)$.

熵

对随机事件的信息量求期望，得到随机变量X的熵：
H(X)=−∑x∈XP(x)logP(x)

当对数底数是2时，单位是bit，当对数底数是e时，单位是nat(奈特)。同时，若P(x)=0,则定义0log0=0。由熵定义可知，随机变量的熵只依赖于X的分布，而与X的取值无关。
熵表示的是随机变量不确定性的度量。熵越大，随机变量的不确定性也就越大。

两点分布的熵

这时，熵H(X)$H\left(X\right)$随概率p$p$变化的曲线如下图所示。

当p=0$p=0$或p=1$p=1$时，随机变量完全没有不确定性。当p=0.5$p=0.5$时，H(X)=1$H\left(X\right)=1$,熵取得最大值，随机变量的不确定性最大。

离散随机变量的最大熵

假设离散随机变量X$X$的概率分布是P(X)$P\left(X\right)$,则其熵是：

熵满足下列不等式：
其中|X|$\left|X\right|$是X$X$的取值个数，当且仅当X$X$的分布是均匀分布时右边的等号成立。也就是说，当X$X$服从均匀分布时，熵最大。

给定期望和方差，最大熵的分布形式

正态分布的概率密度函数为：

对数正态分布为：
该分布的对数是关于随机变量X$X$的二次函数。根据计算过程的可逆性，若某对数分布能够写成随机变量二次形式，该分布必然是正态分布。
目标函数为：
由约束条件E(X)=μ,Var(X)=σ2$E\left(X\right)=\mu ,Var\left(X\right)={\sigma }^2$

可得Var(X)=E(X2)−E2(X)⇒E(X2)=Var(X)+E2(X)=μ2+σ2$Var\left(X\right)=E\left(X^2\right)-E^2\left(X\right)\Rightarrow E\left(X^2\right)=Var\left(X\right)+E^2\left(X\right)={\mu }^2+{\sigma }^2$
采用拉格朗日乘子法转化为无约束的极值问题。拉格朗日函数为：

对P(x)$P\left(x\right)$求导可得：
令其导数等于0，可得：logP(x)=λ1⋅x+λ2⋅x2−1$\log P\left(x\right)={\lambda }_1\cdot x+{\lambda }_2\cdot x^2-1$
P(x)$P\left(x\right)$的对数是关于随机变量x$x$的二次形式，所以该分布P(x)$P\left(x\right)$是正态分布。

联合熵和条件熵

设有随机变量(X,Y)$\left(X,Y\right)$,其联合概率分布为：

联合熵为H(X,Y)=−∑x,yP(x,y)logP(x,y)$H\left(X,Y\right)=-\sum _{x,y}P\left(x,y\right)\log P\left(x,y\right)$
条件熵为H(Y|X)=H(X,Y)−H(X)$H\left(Y|X\right)=H\left(X,Y\right)-H\left(X\right)$。条件熵表示在已知随机变量X$X$的条件下随机变量Y$Y$的不确定性。

H(Y|X)$H\left(Y|X\right)$定义为X$X$给定的条件下Y$Y$的条件概率分布的熵对X$X$的数学期望。

相对熵

相对熵，又称互熵，交叉熵，K-L散度等。用来衡量两个概率分布之间的差异。
设有两个概率分布p(x)$p\left(x\right)$和q(x)$q\left(x\right)$，则p$p$对q$q$的相对熵为：

对于连续的随机变量，定义为：
1.相对熵可以度量两个随机变量的“距离”。
2.在概率和统计学中，经常会使用一种近似的分布来代替复杂的分布。K-L散度度量了使用一个分布来近似另一个分布时所损失的信息。
3.一般的，D(p∥q)≠D(q∥p)$D\left(p\Vert q\right)\ne D\left(q\Vert p\right)$,即是非对称的。
4.D(p∥q)≥0,D(q∥p)≥0$D\left(p\Vert q\right)\ge 0,D\left(q\Vert p\right)\ge 0$。这个可以利用凸函数中Jensen不等式来证明。

其中，因为log$log$函数是凹函数，所以−log$-\log$是凸函数。
同理可证D(q‖p)≥0$D\left(q\Vert p\right)\ge 0$。
5.假定已知随机变量P$P$,求相对简单的随机变量Q$Q$,使得Q$Q$尽量接近P$P$。就可以使用P$P$和Q$Q$的K-L距离。
6.假定使用D(Q‖P)$D\left(Q\Vert P\right)$,为了让距离最小，则要求在P$P$为0的地方，Q$Q$尽量为0。会得到比较“窄”的分布曲线。
7.假定使用D(P‖Q)$D\left(P\Vert Q\right)$,为了让距离最小，则要求在P$P$不为0的地方，Q$Q$尽量不为0。会得到比较“宽”的分布曲线。

互信息

两个随机变量X$X$,Y$Y$的互信息，定义为X$X$,Y$Y$的联合分布和独立分布乘积的相对熵。
I(X,Y)=D(p(x,y)‖p(x)p(y))=∑x,yp(x,y)logp(x,y)p(x)p(y)

计算I(X,Y)=D(p(x,y)|p(x)p(y)) =∑x,yp(x,y)logp(x,y)p(x)p(y)$\begin{array}{l}I\left(X,Y\right)=D\left(p\left(x,y\right)|p\left(x\right)p\left(y\right)\right)=\sum _{x,y}p\left(x,y\right)\log \frac{p\left(x,y\right)}{p\left(x\right)p\left(y\right)}\end{array}$
H(Y)−I(X,Y)=−∑yp(y)logp(y)−∑x,yp(x,y)logp(x,y)p(x)p(y)=−∑y(∑xp(x,y))logp(y)−∑x,yp(x,y)logp(x,y)p(x)p(y)=−∑x,yp(x,y)logp(y)−∑x,yp(x,y)logp(x,y)p(x)p(y)=−∑x,yp(x,y)logp(x,y)p(x)=−∑x,yp(x,y)logp(y|x)=∑xp(x)(−∑yp(y|x)logp(y|x))=∑xp(x)H(Y|x)=H(Y|X)
所以H(Y|X)=H(X,Y)−H(X)=H(Y)−I(X,Y)I(X,Y)=H(X)+H(Y)−H(X,Y)
因为I(X,Y)=H(X)+H(Y)−H(X,Y)$I\left(X,Y\right)=H\left(X\right)+H\left(Y\right)-H\left(X,Y\right)$,所以从另一个角度也可以推出互信息的表达式。
I(X,Y)=H(X)+H(Y)−H(X,Y)=−∑xp(x)logp(x)−∑yp(y)logp(y)+∑x,yp(x,y)logp(x,y)=(−∑x∑yp(x,y)logp(x))−(∑y∑xp(x,y)logp(y))+∑x,yp(x,y)logp(x,y)=−∑x,yp(x,y)logp(x)−∑x,yp(x,y)logp(y)+∑x,yp(x,y)logp(x,y)=∑x,yp(x,y)(logp(x,y)−logp(x)−logp(y))=∑x,yp(x,y)(logp(x,y)p(x)p(y))

Venn图

通过Venn图，可以方便我们记忆熵，联合熵，条件熵，互信息之间的关系。

左边的圆表示随机变量X$X$的熵,右边的圆表示随机变量Y$Y$的熵。左边的橙色部分表示随机变量Y$Y$给定的条件下随机变量X$X$的条件熵。右边的绿色部分表示随机变量X$X$给定的条件下随机变量Y$Y$的条件熵。两圆中间相交的部分表示随机变量X$X$和Y$Y$的互信息。橙色部分、两圆相交的咖啡色部分以及绿色部分加在一起表示X$X$和Y$Y$的联合熵。通过此图，各种熵之间的关系就很好记忆了。