机器学习数学基础——熵和条件熵
熵：如果一个随机变量X的可能取值为X={x1,x2,…xn},每种取值的概率为p(xi),那么这个随机事件的发生，能够给我们带来的信息量的期望（熵）是：
信息熵其实是一个随机变量信息量的数学期望。
条件熵：在X给定条件下，Y的条件概率分布的熵 对X的数学期望：
由于是相对于X的数学期望，因此前面要乘以一个p(x)。
举个例子：有如下一个数据集，我们问，在长相（帅与不帅）的条件下，女孩嫁与不嫁（Y）的熵。
熵：如果一个随机变量X的可能取值为X={x1,x2,…xn},每种取值的概率为p(xi),那么这个随机事件的发生，能够给我们带来的信息量的期望（熵）是：
信息熵其实是一个随机变量信息量的数学期望。
条件熵：在X给定条件下，Y的条件概率分布的熵 对X的数学期望：
由于是相对于X的数学期望，因此前面要乘以一个p(x)。
举个例子：有如下一个数据集，我们问，在长相（帅与不帅）的条件下，女孩嫁与不嫁（Y）的熵。