4 Multi-Symbol Stationary Information Source

字数 7,171｜阅读时间 15 分钟｜Ayaskt

2026/07/05 21:09:13 CST

愛あいはどこからやってくるのでしょう 自分じぶんの胸むねに問といかけた，

爱到底会从哪里来呢 在心里默默问自己，

少すこしずつだけどいろんな事ことが変かわって 私わたしはここにアル。

就算我没变但世界一直在变 我应该活在当下吧。

「Love 2000」

hitomi

章节目录

• 章节目录
• 4-1 多符号信源 Multi-Symbol Information Source
  • 4-1-1 多符号信源
  • 4-1-2 一二维平稳信源 1D and 2D Stationary Info. Source
  • 4-1-3 离散平稳信源 Discrete Stationary Info. Source
• 4-2 无记忆信源 Memoryless Information Source
  • 4-2-1 无记忆信源 Memoryless Information Source
  • 4-2-2 N 阶扩展信源 Expanded Source of Order N
  • 4-2-3 无记忆扩展信源例题 Example
  • 4-2-4 扩展信源熵 Entropy of the Expanded Source
• 4-3 有记忆信源 Memory Information Source
  • 4-3-1 离散有记忆信源 Discrete Memory Info. Source
  • 4-3-2 二维离散有记忆信源 2D Discrete Memory Info. Source
  • 4-3-3 二维信源性质 Properties of 2D Info. Source
  • 4-3-4 N 维离散有记忆信源 N-D Discrete Memory Info. Source
  • 4-3-5 熵率与极限熵 Entropy Rate and Entropy Limit
  • 4-3-6 熵率例题 Example

4-1 多符号信源 Multi-Symbol Information Source

4-1-1 多符号信源

多符号序列

通常，一个信源输出的是一个由随机符号组成的序列，序列中的随机符号相互间统计相关。我们使用向量来表示这样的一个序列：

一般情况下，随机符号 和 在不同时刻有不同的统计学性质。

常见的多符号离散信源有：

• 英语： Hello, world!
• 摩斯电码

平稳信源 Stationary Info. Source

平稳信源 Stationary Information Source

对于一个随机向量 ，如果其任意维度随机变量间的的联合概率不随时间变化，即其概率分布与时间无关，则产生这个随机向量的信源被称为平稳信源 Stationary Information Source。

---

4-1-2 一二维平稳信源 1D and 2D Stationary Info. Source

一维平稳信源

一维平稳信源 1D Stationary Info. Source

给定一个随机变量的序列 ，如果其在任何时刻都有如下的概率分布

则我们称该信源为一个 一维平稳信源 1D Stationary Info. Source。

二维离散信源

二维离散信源 2D Stationary Info. Source

信源的所有一维和二维的概率都不随时间变化，称其为一个二维离散信源。

---

4-1-3 离散平稳信源 Discrete Stationary Info. Source

离散平稳信源 Discrete Stationary Information Source

若离散信息源 的任意有限维概率分布都与时间无关，则称该信源为离散平稳信源 Discrete Stationary Information Source。

对任意两个时刻 与 ，一维概率分布相同：

二维、三维到任意维的连续符号块概率分布也相同：

等价地，随机过程的任意有限维联合分布在时间平移后保持不变：

该式对任意 、任意时间平移 以及所有 成立，其中 为信源字母表。

1. 单符号离散信源模型

单符号离散信息源的数学模型为：

2. 多符号离散信源模型

多符号离散信息源写作：

其数学模型为：

其中第 个多符号消息为：

指标满足：

该多符号消息的发送概率为：

所有多符号消息的概率满足：

4-2 无记忆信源 Memoryless Information Source

4-2-1 无记忆信源 Memoryless Information Source

无记忆信源 Memoryless Information Source

对离散平稳信源，若任意多符号消息中各符号相互独立，则称该信源为无记忆信源 Memoryless Information Source。

对任意时刻 ，若多符号消息满足：

则消息内部各符号之间没有统计相关性。

设 是一个二元单符号信源。若每次从 独立地产生两个符号并组合成一个消息，则得到二阶扩展信源：

若每次独立产生三个符号，则得到三阶扩展信源：

---

4-2-2 N 阶扩展信源 Expanded Source of Order N

单符号离散信源的数学模型为：

其 阶无记忆扩展信源 的数学模型为：

每个消息 都由 独立生成的 个符号组成。若：

则由无记忆性质：

---

4-2-3 无记忆扩展信源例题 Example

PROBLEM IT4-E1

给定单符号信源：

1. 计算信源 的熵；
2. 多符号信源 每次发送由 独立生成的 个符号组成的消息，计算 的熵。

SOLUTION

由熵的定义：

由于 是 阶无记忆扩展信源：

---

4-2-4 扩展信源熵 Entropy of the Expanded Source

对 阶扩展信源 ，其熵为：

若该扩展信源无记忆，则：

证明时直接代入熵定义和无记忆性质：

因此，扩展信源的熵可以由对应单符号信源的熵直接得到。 表示一个 符号消息平均携带的信息量。

4-3 有记忆信源 Memory Information Source

4-3-1 离散有记忆信源 Discrete Memory Info. Source

离散有记忆信源 Discrete Memory Information Source

若离散平稳信源发送的符号之间存在统计相关性，则称该信源为离散有记忆信源 Discrete Memory Information Source。

对 维离散平稳有记忆信源 ，其数学模型为：

其中：

符号之间的相关性可由联合概率表示：

也可以由条件概率表示。若信源已经发送符号序列 ，则下一符号为 的概率写作：

若当前符号只与前 个符号相关，则该信源称为记忆长度为 的 Markov 信息源 Markov Information Source。

---

4-3-2 二维离散有记忆信源 2D Discrete Memory Info. Source

设两个单符号离散信源 与 都从符号集合 中发送符号。二维离散平稳有记忆信源为：

其消息空间为：

每个二维消息可写作：

其数学模型为：

其中：

这些概率共同构成完整概率空间。

---

4-3-3 二维信源性质 Properties of 2D Info. Source

二维信源 的熵由链式法则给出：

若 与 相互独立，则：

若 与 独立同分布，且都等于单符号信源 ，则二维信源退化为二阶扩展信源：

对于有记忆信源，相关性会降低平均不确定性：

---

4-3-4 N 维离散有记忆信源 N-D Discrete Memory Info. Source

对 维离散有记忆信源 ，由链式法则：

条件熵随条件数量增加而不增。对平稳信源，有：

当 时：

一般地：

---

4-3-5 熵率与极限熵 Entropy Rate and Entropy Limit

维离散信源的熵：

刻画一个 符号消息携带的平均信息量。单个符号平均携带的信息量定义为：

这称为 维信源的熵率 Entropy Rate。当 时，得到单符号的极限熵 Entropy Limit：

实际信源中，符号相关性可能不只限制在有限维度内。极限熵用于刻画无限长序列中单个符号平均携带的信息量。

若信源平稳，则：

---

4-3-6 熵率例题 Example

PROBLEM IT4-E2

给定二元信息源 ，其发送符号序列由 和 组成：

该信源为无记忆信源，因为每次发送符号 的概率恒为 ，发送符号 的概率恒为 ，并且与之前符号无关。

1. 判断该信源是否平稳；
2. 计算 、 与 ；
3. 计算 ，并写出 的所有可能消息。

SOLUTION

由于各时刻符号分布不随时间变化，且符号之间相互独立，因此该信源是离散平稳无记忆信源。

单符号熵为：

因此：

无记忆信源中， 与 独立：

其极限熵为：

四阶扩展信源熵为：

的所有可能消息为：