通信系统之信息
通信系统里面通的是什么？（消息）
消息：通常将声音、文字和图像等等这种人能够感知的描述叫消息；
信息：定义为消息中包含的有意义的内容；
消息是信息的载体；
消息中所含信息的多少不是由消息的多少决定的，而是与该消息发生的概率密切相关。（一个消息越不可预测，它所含的信息量越大。）
信息量的衡量：消息发生的概率越大，则信息量越小；而消息发生的概率越小，则信息量越大。如，消息发生的概率为1，则大家都知道的事情，毫无信息量，即信息量为0；
用公式表达为：
当底数a为2时，则单位为比特（bit）；当底数a为10时，则单位为波特（Band）；
当一个消息由多个独立的小消息组成时，信息量表示为：
即消息所含信息量之和。
消息的特点：
不确定性
相反的特性（消息发生的概率为1，信息量为0）
该消息由多个小消息组成时，该消息的信息量等于所有小消息的信息量之和。
平均信息量（熵）：