[信息论与编码] 01. 信息的概念
@从现实世界到信息世界：信息
信息
日常生活中，我们很少刻意区分信息和消息。人五官所感所得，皆可被我们归为信息，且核心在于信息在自然世界与人之间传输，被我们主观意识所捕获的那个get的瞬间。
如果要加以区分。
信息不等同于情报；
信息不等同于知识；
信息不等同于消息；
信息不等同于信号；
信息、消息、信号
将客观物质运动和主观思维活动的状态以人所能感知的形式（如: 文字、图像、符号、数据、语言、音频等等）表达出来，称其为消息。
对事物运动状态或存在方式不确定性的描述，称为信息。
而，把消息变换成适合信道传输的物理量，称这种物理量为信号。
物理 & 具体
消息是物理，非具体的形态；
信号是物理，具体的形态；
信息是非物理，非具体的形态。
统计信息
全信息
全信息是人们对客观世界的运动规律和存在状态的认识结果。
- 语义信息：事物运动状态及方式的具体含义。
- 语法信息：事物运动状态及变化方式的形式。
- 语用信息：事物运动状态、方式及其含义对观察者的效用。
后续将要讨论的熵表示的是语法信息。