西点信息论课程学习笔记（一）信息定义
最近在看有关离散输入的信道容量的相关知识，发现其中的很多概念多不太熟悉了，为此觉决定重新学习一遍信息论，老师的讲解很多都让我耳目一新，为此记录一下学习笔记。
课程链接：https://www.bilibili.com/video/BV1Bs411H7Pi?from=search&seid=17858160577741732208
一：信息，消息，信号
信息：是事物运动状态或者存在方式的不确定性的描述。
消息：是信息的载体；例如包含信息的语言，文字和图像等等。
信号：是消息的物理体现。
举个例子，如下图：
- 当收到0时，可以确定发送的信息是x1-x4。继续收到01时，可以确定发送的信息是x3，x4。收到011时，可以确定发送的信息是x4。可以看出，通过获得信息，我们在不断消除不确定性，，换句话说，信息就是消除的不确定性。
- 上图中，x1-x8是消息，其中包含信息；码字输出000-111是信号，是消息的物理体现。信息我们从上图中看不见，它涉及到不确定性，但是我们可以感受到。
二.香农信息的定义
由于信息是由不确定描述的，因此可以用概率来度量的。
先介绍几个概念：
这里不确定性的大小是指发送端到底选择发送哪个符号，那么不确定性的大小一定是关于先验概率p(x)的函数，且这个函数满足下列三个特征：
这里，第一和第二点是因为概率越大，不确定性越小，当概率为1，不确定性为0，也就是说发送端一定发送这个信号。第三点是’个人理解是因为先验概率是独立的。
基于这三个特征，香农给出了满足这三个特征的数学表达式：
香农信息定义的优缺点
信息的大小完全是由事件的概率决定的，排除了某些主观含义。
但没有考虑收信者的主观特性，譬如，一个懂音乐和不懂音乐的人去听同一场音乐会，二者得到的信息量是不一样的。而香农定义完全由客观的概率来决定信息量的多少。另外，在很多实际情况中，归纳出一个概率模型来是很难的。
总得来说，香农给出信息的定义是划时代的