8 Discrete Channel Capacity

字数 6,099｜阅读时间 13 分钟｜Ayaskt

2026/07/07 15:56:38 CST

九月くがつの終おわりにくしゃみして

在九月的最后打个喷嚏

六月ろくがつの匂においを繰くり返かえす

持续嗅着六月的气息

「あの夏が飽和する。」

Kotoha

章节目录

• 章节目录
• 8-1 信道容量定义 Definition of Channel Capacity
  • 8-1-1 单符号离散信道回顾 Single-Symbol Discrete Channel
  • 8-1-2 信道容量 Channel Capacity
  • 8-1-3 多符号扩展信道 Multi-Symbol Expanded Channel
• 8-2 典型无噪信道 Typical Noiseless Channels
  • 8-2-1 一一映射信道 One-to-One Mapping
  • 8-2-2 非重叠扩展输出 Nonoverlapping Outputs
  • 8-2-3 合并信道 Merging Channel
• 8-3 对称信道 Symmetric Channels
  • 8-3-1 二元对称信道 Binary Symmetric Channel
  • 8-3-2 强对称信道 Strongly Symmetric Channel
  • 8-3-3 弱对称信道 Weakly Symmetric Channel
  • 8-3-4 二元擦除信道 Binary Erasure Channel
• 8-4 一般离散信道容量 Generic Discrete Channel Capacity
  • 8-4-1 拉格朗日条件 Lagrange Condition
  • 8-4-2 Z 信道 Z-Channel
  • 8-4-3 计算检查表 Calculation Checklist

8-1 信道容量定义 Definition of Channel Capacity

8-1-1 单符号离散信道回顾 Single-Symbol Discrete Channel

单符号离散信道由输入字母表、输出字母表和转移概率描述：

信道转移矩阵写为：

每一行是给定输入 后的输出分布，因此：

输出分布由输入分布和转移矩阵共同决定：

互信息表示每使用一次信道，输入 向输出 传递的平均信息量：

---

8-1-2 信道容量 Channel Capacity

当信道固定时，转移概率 固定，互信息 只随输入分布 改变。

信道容量 Channel Capacity

信道容量 Channel Capacity 定义为在所有输入分布中能够达到的最大互信息：

若每个信道符号传输时间为 秒，则单位时间信道容量为：

信道容量只由信道统计性质决定。最优输入分布记为 ，则：

---

8-1-3 多符号扩展信道 Multi-Symbol Expanded Channel

把单符号信道独立使用 次，可得到 阶无记忆扩展信道：

若输入序列为 ，输出序列为 ，无记忆条件给出：

噪声熵满足：

互信息满足：

若输入也是无记忆扩展信源，并且每次使用相同信道，则取等号：

8-2 典型无噪信道 Typical Noiseless Channels

8-2-1 一一映射信道 One-to-One Mapping

一一映射信道中，每个输入符号对应唯一输出符号，输出也能反推出输入。转移矩阵可写成单位矩阵或列置换矩阵。

对于 个输入符号：

容量为输入熵的最大值：

当输入等概率时达到容量：

---

8-2-2 非重叠扩展输出 Nonoverlapping Outputs

非重叠扩展输出中，一个输入可能对应多个输出，但不同输入对应的输出集合互不重叠。接收端看到输出后仍能唯一判断输入。

典型转移矩阵具有分块非重叠结构：

虽然输出符号有随机性，但这种随机性不造成输入判决歧义。因此仍有：

若输入字母表大小为 ，容量仍为：

---

8-2-3 合并信道 Merging Channel

合并信道中，多个输入可能映射到同一个输出。输出不能完整区分输入，因此信息会损失。

例如：

此时 是 的确定函数，所以：

若输出字母表有 个符号，最大输出熵为 ，故：

合并信道的容量由可区分输出类别数决定，而不是由输入符号总数决定。

8-3 对称信道 Symmetric Channels

8-3-1 二元对称信道 Binary Symmetric Channel

二元对称信道 Binary Symmetric Channel, BSC 的转移矩阵为：

其中 是交叉概率。给定输入后，条件熵为：

其中二元熵函数为：

于是：

当输入等概率时，输出也等概率，。因此 BSC 容量为：

---

8-3-2 强对称信道 Strongly Symmetric Channel

强对称信道的每一行互为排列，每一列也互为排列。若每一行的概率向量为：

则：

由于列也对称，输入等概率会诱导输出等概率：

所以强对称信道容量为：

对 元强对称信道，若正确接收概率为 ，错误时均匀落到其余 个符号上：

容量为：

---

8-3-3 弱对称信道 Weakly Symmetric Channel

弱对称信道要求所有行互为排列，且每一列的列和相同。设行概率仍为：

输入等概率时，列和相同保证输出等概率，因此容量形式与强对称信道相同：

若输出列可分为 个互不相交的对称子块，第 个子块包含 个输出符号，且在等概率输入下该子块内输出概率平均值为 ，则容量可写为：

这种写法适合分块弱对称信道。计算时先按输出列分块，再分别计算每个子块的输出概率。

---

8-3-4 二元擦除信道 Binary Erasure Channel

二元擦除信道 Binary Erasure Channel, BEC 的输出字母表为：

其中 表示擦除。转移矩阵为：

给定输入后，输出只在“正确接收”和“擦除”之间随机：

设 。输出熵可分解为：

因此：

当 时达到最大值：

擦除比例为 ，可可靠携带信息的比例为 。

8-4 一般离散信道容量 Generic Discrete Channel Capacity

8-4-1 拉格朗日条件 Lagrange Condition

一般离散信道求容量要解：

对最优输入分布 ，KKT 条件可写成：

其中：

若 ，则取等号：

这条式子说明，所有真正被使用的输入符号，对最优输出分布的相对熵相同。

课程中常用的计算形式如下。先求 ：

若该线性方程组可解，则：

最优输出分布满足：

最后由：

反解最优输入分布。若解中出现负概率，则说明某些输入符号在最优分布中应被剔除，再对剩余输入重新计算。

---

8-4-2 Z 信道 Z-Channel

Z 信道的特点是一个方向无误，另一个方向可能出错：

设：

则：

互信息为：

对 求导并令导数为零，可得容量：

对应最优输入分布为：

特别地，当 时：

---

8-4-3 计算检查表 Calculation Checklist

离散信道容量题通常按以下顺序处理：

1. 写出 ，确认每一行概率和为 。
2. 判断是否为无噪、一一映射、合并、BSC、BEC、强对称、弱对称或 Z 信道。
3. 若是特殊信道，直接使用对应容量公式。
4. 若不是特殊信道，写出：

并把它化为输入分布参数的函数。

5. 对输入分布求极值，同时检查边界点。
6. 得到 后，代回 得到 。

常见容量公式如下：

信道 Channel	容量 Capacity
一一无噪信道
合并信道
BSC
元强对称信道
BEC
Z 信道

容量题的核心不是把 算出来，而是找到让它达到最大值的输入分布。