2 Discrete Information Source and Self-Information
章节目录
- 章节目录
- 2-1 离散信息源 Discrete Information Source
- 2-2 消息的自信息 Self-information of Messages
- 2-3 自信息的性质 Properties of Self-information
- 2-4 联合自信息与条件自信息 Joint & Conditional Self-information
2-1 离散信息源 Discrete Information Source
2-1-1 信息源与离散信源
信息源 Information Source
信息源，简称信源，负责发送 消息 Message。
不确定 / 随机的消息负责承载 信息 Information。
一个信息源通常被建模成一个 随机变量/向量 Random Variable/Vector，而信息源所发送的消息就是该随机变量或随机向量的可能取值。
离散信源 Discrete Information Source
离散信源仅发送离散消息 Discrete Messages，即消息的内容是有限的。因此通常把随机信源当做具有有限状态的随机序列来建模
如果一个离散信息源只涉及单个随机事件，则可以看作单符号信源 Single-symbol Source；如果一个离散信源涉及多个随机事件，则可以看作多符号信源 Multi-symbol Source。
NOTE
信源样例：天气
2-1-2 离散随机变量
离散信源的数学模型
离散信源可以被建模成以下数学模型：
- 信源发送消息，消息承载信息，信息是随机和不确定的；
- 概率约束：
离散随机变量
考虑如下随机变量
DEFINITION
联合随机变量 Joint Random Variable
- 其概率可被写作
； - 当
和 相互独立时，联合概率为
条件概率 Conditional Probability 描述一对随机变量的内在关系 Inherent Relationship
- 给定
。
概率，条件概率和联合概率都满足一系列约束和性质。
2-1-3 信息量 Amount of Information
信息量刻画一条消息消除不确定性的程度。对单个消息而言，概率越低，发生后带来的信息量越高；概率越高，信息量越低。
用后续的自信息符号
以 2018-2019 ECL 半决赛 Barcelona 对 Liverpool 为例。第一回合比分为 0-0 时，可把晋级结果看作离散信源
| 消息 | Odds | 概率 | 信息量判断 |
|---|---|---|---|
| 1.65/1 | regular news, moderate information | ||
| 2.33/1 | regular news, moderate information |
两个结果的概率没有明显偏向，任一消息发生时都只消除中等程度的不确定性。
第二回合开始前，Liverpool 已经以 0-3 落后。此时离散信源
| 消息 | Odds | 概率 | 信息量判断 |
|---|---|---|---|
| 1/50 | expected, regular news, low information | ||
| 18/1 | unexpected, breaking news, very high information |
Barcelona 晋级接近必然事件，消息发生后消除的不确定性很少。Liverpool 晋级是小概率事件，若发生，则对应很高的信息量。
2-2 消息的自信息 Self-information of Messages
2-2-1 信息的测量与单位
投掷一枚硬币正反面的概率密度为：
- 总状态数
- 消息携带的信息
对于两枚硬币，其概率空间为：
- 总状态数
- 消息携带的信息
自信息 Self-information
记作
其中
对数前的符号意味着越小概率的消息携带着更大的信息量。
自信息的单位与对数的底数有关：
- 当底数为
，信息量单位为 ； - 当底数为
，信息量单位为 ； - 当底数为
，信息量单位为 或 。
2-2-2 自信息的简单例子 Simple Examples of Self-information
沿用 2-1-3 中 Barcelona 与 Liverpool 的晋级新闻例子。由自信息定义，代入各消息概率可得：
第一回合比分为 0-0 时，两个晋级消息的概率没有拉开极端差距：
| 消息 | 概率 | 自信息 | 信息量判断 |
|---|---|---|---|
| regular news, moderate information | |||
| regular news, moderate information |
第二回合 Liverpool 已经以 0-3 落后时，两个晋级消息的概率差距很大：
| 消息 | 概率 | 自信息 | 信息量判断 |
|---|---|---|---|
| expected, regular news, low information | |||
| unexpected, breaking news, very high information |
2-3 自信息的性质 Properties of Self-information
IMPORTANT
自信息的性质可以归总为以下四点：
- 非负 Non-negative
- 单调递减 Monotonously Decreasing
- 若
- 若
如果一个消息出现的概率很高，那它就含有更低的信息和不确定性，反之亦然。
自信息
2-4 联合自信息与条件自信息 Joint & Conditional Self-information
2-4-1 联合自信息 Joint Self-information
对两个随机事件
其联合概率满足：
联合自信息 Joint Self-information
联合消息
若
因此：
2-4-2 条件自信息 Conditional Self-information
条件自信息描述给定一个消息后，另一个消息仍然带来的信息量。
条件自信息 Conditional Self-information
给定
给定
由条件概率可得联合概率的两种分解：
代入联合自信息：
PROBLEM IT2-E1
2018-2019 ECL 半决赛中，Barcelona 与 Liverpool 的晋级消息概率如下：
| 场景 | 消息 | 概率 |
|---|---|---|
| 第一回合 0-0 | ||
| 第一回合 0-0 | ||
| 第二回合 Liverpool 0-3 落后 | ||
| 第二回合 Liverpool 0-3 落后 |
求四条消息各自的自信息，并判断哪条消息的信息量最高。
SOLUTION
自信息定义为：
代入四个概率：
整理成表格：
| 消息 | 自信息 | 信息量判断 |
|---|---|---|
| regular news, moderate information | ||
| regular news, moderate information | ||
| expected news, low information | ||
| breaking news, very high information |