3 Entropy of Discrete Information Source

字数 5,569｜阅读时间 12 分钟｜Ayaskt

2026/07/05 16:11:38 CST

Now always seem to be govern'd by this love we have,

现在看来 我们的爱似乎都取决于，

For useless twisting our new technology,

奇技淫巧的高科技，

Oh, now there is no sound for we all live underground.

噢 甚至没一个声音说出我们一直都活在阴暗里。

Virtual Insanity

Jamiroquai

章节目录

• 章节目录
• 3-1 熵 Entropy
  • 3-1-1 离散信源的熵
  • 3-1-2 熵的三大物理意义
• 3-2 条件熵与联合熵 Conditional & Joint Entropy
  • 3-2-2 联合熵 Joint Entropy
  • 3-2-2 条件熵 Conditional Entropy
• 3-3 熵的性质 Properties of Entropy
  • 3-3-1 非负性、对称性与确定性 Non-negative, Symmetric, Certainty
  • 3-3-2 离散信源熵 Entropy of Discrete Info. Source
  • 3-3-3 离散信源的最大熵 Maximum Entropy of Discrete Source
  • 3-3-4 熵的可扩展性 The Entropy is Extendable
  • 3-3-5 熵的可加性 The Entropy is Additive
  • 3-3-6 熵的极值 Extremum of the Entropy
  • 3-3-7 熵的凹性与凸性 Concavity and Convexity of the Entropy
  • 3-3-8 例题 Examples

3-1 熵 Entropy

3-1-1 离散信源的熵

对于一个离散信源：

我们有如下定义：

熵 Entropy

对一个信源的所有可能的消息，其平均自信息 Average Self-information 被称为 熵 Entropy，记作 。

对离散信源，其数学形式写作：

PROBLEM IT3-E1

计算以下离散信源的熵。

1. Football game

第一回合比分为 Barcelona (0) vs Liverpool (0)，晋级概率为：

消息	概率
Barcelona 晋级
Liverpool 晋级

第二回合开始前，比分为 Liverpool (0) vs Barcelona (3)，晋级概率为：

消息	概率
Barcelona 晋级
Liverpool 晋级

2. Weather

天气信源的概率空间为：

SOLUTION

由熵的定义：

对第一回合 football game 信源 ：

对第二回合 football game 信源 ：

对 weather 信源 ：

的概率几乎集中在 Barcelona 晋级上，因此熵最低。Weather 信源有四个可能天气，且概率分布更分散，因此平均不确定性更高。

---

3-1-2 熵的三大物理意义

熵刻画了：

• 每个消息携带的平均自信息；
• 信源的平均不确定度 Average Uncertainty；
• 随机变量的随机程度，在这一点上的性质与方差和标准差类似。

3-2 条件熵与联合熵 Conditional & Joint Entropy

3-2-2 联合熵 Joint Entropy

对于联合离散信源 ，其数学模型如下：

联合熵 Joint Entropy

其定义为每个联合消息所携带的信息的数学期望，发送自联合信源 ：

---

3-2-2 条件熵 Conditional Entropy

对于联合离散信源 ：

条件熵 Conditional Entropy

给定信息接收端 ，条件熵 可被表示为：

在实际中，通过一个信道接收到的信息记作 Y ，如果记发射出去的信息为 X，则条件熵可以用来描述通过 Y 判断 X 的准确程度。因此：

条件熵又被称作 信道疑义度 Channel Equivocation 或 损失熵 Loss Entropy。

3-3 熵的性质 Properties of Entropy

3-3-1 非负性、对称性与确定性 Non-negative, Symmetric, Certainty

1. 非负性

非负性 Non-negative：信源的熵是所有可能消息携带信息量的数学期望。由于自信息非负，熵也非负。

2. 对称性

对称性 Symmetric：在计算中改变消息概率的排列顺序，不会改变熵的值。

熵只依赖信源的整体统计特性，不依赖某个具体消息的名称，也不依赖消息本身的具体取值。

3. 确定性

确定性 Certainty：若信源产生某个消息的概率为 ，则该信源的熵为 。此时信源是确定信源，其不确定性为 。

---

3-3-2 离散信源熵 Entropy of Discrete Info. Source

离散信源的输出可以是硬币、骰子、比赛结果等有限个随机消息。熵用于量化该信源本身产生信息的平均能力。

对于一个离散信源 ：

其熵为：

---

3-3-3 离散信源的最大熵 Maximum Entropy of Discrete Source

离散信源最大熵 Maximum Entropy of Discrete Source

若信息源 可以产生 个可能消息，则其熵满足：

当 个消息以相等概率产生时，等号成立。

证明中可使用自然对数性质：

当 时，上式取等号。对应到信源概率分布时，即所有消息等概率：

此时熵达到最大值：

---

3-3-4 熵的可扩展性 The Entropy is Extendable

设信息源 可以产生 个可能消息，另一个信息源 可以产生 个消息。若 中新增消息的概率趋近于 ，其余消息的概率几乎与 相同，则 的熵与 的熵相同。

该性质写作：

该式成立的原因是：

虽然小概率消息携带较高自信息，但它对信源熵的贡献较小。

若新增 个概率趋近于 的消息，类似的可扩展性质仍然成立。

---

3-3-5 熵的可加性 The Entropy is Additive

给定两个随机信息源 与 ，联合熵、单独熵和条件熵满足：

这是熵的可加性。证明时直接利用熵、条件熵、联合熵的定义，以及随机变量的概率关系。

当信息源 与 相互独立时：

---

3-3-6 熵的极值 Extremum of the Entropy

对于任意一对随机信息源 与 ，有如下不等式：

对于任意概率分布 ，若取另一个概率分布 的自信息并按 加权平均，所得值高于或等于其自身熵。

利用熵的极值性质，可以证明条件熵低于无条件熵：

---

3-3-7 熵的凹性与凸性 Concavity and Convexity of the Entropy

对于多变量函数：

给定任意正数 和定义域中的一对向量 、，若有：

则 是凹函数。

熵是一个凹函数。给定一对概率向量：

其中：

且：

对于任意正数 ，有：

课件中也用凸性方法证明离散信源最大熵：

这里按标准说法应理解为：熵函数本身是凹函数， 是凸函数。利用极值性质或拉格朗日乘子法，都可以得到最大熵出现在等概率分布处。

---

3-3-8 例题 Examples

PROBLEM IT3-E2

设 是随机变量 的函数。证明：

SOLUTION

由于 由 决定，先有：

其中：

于是：

另一方面，由联合熵可加性：

因此：

PROBLEM IT3-E3

假设随机变量 与 的联合概率由下表给出：

计算：

PROBLEM IT3-E4

比较两场足球比赛对应离散信源的信息价值。

1. 2018 World Cup Group H: Germany vs Korea

结果	概率
Germany wins
Draw
Korea wins

2. 2018 World Cup Final (90 mins): France vs Croatia

结果	概率
France wins
Draw
Croatia wins

哪一场比赛生成更有价值的信息？

SOLUTION

对 Germany vs Korea：

对 France vs Croatia：

France vs Croatia 的结果分布更均匀，因此熵更高。它对应的信源平均不确定性更高，也更需要被量化。