KL散度超详细讲解
KL散度定义
KL(Kullback-Leibler divergence)散度多应用于概率论或信息论中,又可称相对熵(relative entropy)。它是用来描述两个概率分布P和Q的差异的一种方法。
【记】KL具有非对称性,即D(P||Q) ≠ D(Q||P)。
在信息论中,D(P||Q) 表示用概率分布Q来拟合真实分布P时,产生的信息损耗,其中P表示真实分布,Q表示P的拟合分布
KL散度公式定义
对于离散型随机变量有:
对于连续型随机变量有:
KL散度的物理定义
在信息论中,它是用来度量使用基于Q分布的编码来编码来自P分布的样本平均所需的额外的比特(bit)个数。
在机器学习领域,是用来度量两个函数的相似程度或者相近程度。
在信息论中,用基于P的编码去编码来自P的样本,其最优编码平均所需要的比特个数(即这个字符集的熵)为:
用基于P的编码去编码来自Q的样本,则所需要的比特个数变为:
【注】P(x)为各字符出现的频率,log()为该字符相应的编码长度,log()为对应于Q的分布各字符编码长度。
那么KL散度即可表示为如下:
简要介绍Jensen不等式
利用Jensen不等式证明P与Q之间的KL散度不小于0: