10 Continuous Information Source and Channel Capacity

字数 5,591｜阅读时间 12 分钟｜Ayaskt

2026/07/07 15:56:38 CST

描えがく未来みらい　広ひろがる世界せかい　約束やくそくの花はなは散ちれども

描绘中的未来 更宽阔的世界 纵使约定之花纷落飘散

僕ぼくらはきっと　大丈夫だいじょうぶだよ

我们之后也一定会安然无恙

「エガクミライ」

MyGO!!!!!

章节目录

• 章节目录
• 10-1 连续信源 Continuous Information Source
  • 10-1-1 随机过程模型 Stochastic Process Model
  • 10-1-2 连续随机变量 Continuous Random Variables
  • 10-1-3 从离散化到微分熵 From Discretization to Differential Entropy
• 10-2 常见连续分布微分熵 Common Differential Entropies
  • 10-2-1 均匀分布 Uniform Distribution
  • 10-2-2 Gaussian 分布 Gaussian Distribution
  • 10-2-3 指数分布 Exponential Distribution
  • 10-2-4 多维连续信源 Multidimensional Continuous Source
• 10-3 微分熵性质与最大熵 Properties and Maximum Entropy
  • 10-3-1 联合、条件与互信息 Joint, Conditional and Mutual Information
  • 10-3-2 微分熵的性质 Properties of Differential Entropy
  • 10-3-3 最大熵结论 Maximum Entropy Results
• 10-4 连续信道容量 Continuous Channel Capacity
  • 10-4-1 连续信道容量定义 Definition
  • 10-4-2 加性信道 Additive Channel
  • 10-4-3 Shannon 容量公式 Shannon Capacity Formula
  • 10-4-4 带宽与 SNR 例题 Bandwidth and SNR Example

10-1 连续信源 Continuous Information Source

10-1-1 随机过程模型 Stochastic Process Model

连续信源在连续时间上产生连续取值的消息，可表示为随机过程：

某一样本函数 的时间平均为：

固定时刻 的随机变量为 ，其集合平均为：

平稳过程 Stationary Process 指不同时刻随机变量的统计性质相同。

各态历经过程 Ergodic Process 指平稳过程的时间平均与集合平均以概率 相等：

实际连续通信信号常用平稳、各态历经假设把长时间观测与概率平均联系起来。

---

10-1-2 连续随机变量 Continuous Random Variables

连续随机变量 的分布函数为：

概率密度函数为：

联合概率密度为：

边缘密度由积分得到：

联合密度、条件密度和边缘密度满足：

---

10-1-3 从离散化到微分熵 From Discretization to Differential Entropy

设连续随机变量 的取值范围为 ，并把区间划分为 个小区间：

第 个小区间近似概率为：

把连续变量近似为离散变量时，其离散熵为：

令 ：

其中：

称为微分熵 Differential Entropy。

离散化后的绝对熵 会随 发散。微分熵保留了形式上的熵表达式，但它本身不直接表示连续信源的绝对平均不确定性。

10-2 常见连续分布微分熵 Common Differential Entropies

10-2-1 均匀分布 Uniform Distribution

设：

则：

因此：

若 ，则 。微分熵可以为负。

---

10-2-2 Gaussian 分布 Gaussian Distribution

设 ：

其中：

代入微分熵定义：

故：

当 时， 等于平均功率：

---

10-2-3 指数分布 Exponential Distribution

设 服从均值为 的指数分布：

其中：

微分熵为：

因此：

指数分布的微分熵只由均值 决定。

---

10-2-4 多维连续信源 Multidimensional Continuous Source

设随机向量：

其联合微分熵定义为：

若各分量独立，则：

若 独立且均匀分布于 ，则：

并且：

10-3 微分熵性质与最大熵 Properties and Maximum Entropy

10-3-1 联合、条件与互信息 Joint, Conditional and Mutual Information

连续随机变量的联合微分熵为：

条件微分熵为：

链式法则仍成立：

连续随机变量之间的互信息定义为：

也可写成密度比形式：

互信息满足：

微分熵可能为负，但互信息仍具有信息量意义。

---

10-3-2 微分熵的性质 Properties of Differential Entropy

微分熵与离散熵形式相似，但性质不同：

性质 Property	离散熵 Entropy	微分熵 Differential Entropy
非负性		可为负
坐标变换	与符号重命名无关	会随尺度变换改变
独立可加性	成立	成立
互信息构造

若 ，则：

因此微分熵依赖度量单位。连续信源分析中，真正稳定的信息量通常来自熵差或互信息。

---

10-3-3 最大熵结论 Maximum Entropy Results

在不同约束下，最大微分熵对应不同分布。

若随机变量限制在 ，则均匀分布使微分熵最大：

等号成立当且仅当：

若随机变量均值为 、方差为 ，则 Gaussian 分布使微分熵最大：

若随机变量非负且均值为 ，则指数分布使微分熵最大：

连续信源没有不带约束的统一最大熵。最大熵结论必须和约束一起使用。

对零均值信号，可定义熵功率 Entropy Power：

若 为 Gaussian 且平均功率为 ，则：

非 Gaussian 信号在同样平均功率下有更小的熵功率。

10-4 连续信道容量 Continuous Channel Capacity

10-4-1 连续信道容量定义 Definition

连续信道由输入随机变量 、输出随机变量 以及条件密度 描述。

信道容量定义为：

利用微分熵：

若从输入端看，也可写为：

具体求容量时，需要同时考虑输入分布约束。例如平均功率约束、峰值功率约束或带宽约束。

---

10-4-2 加性信道 Additive Channel

加性信道模型为：

其中 是噪声，且与 独立。给定 后：

平移不改变微分熵，因此：

容量为：

若噪声分布固定，求容量的关键是让输出 的微分熵尽可能大。

---

10-4-3 Shannon 容量公式 Shannon Capacity Formula

设噪声为零均值 Gaussian 噪声：

其概率密度为：

噪声微分熵为：

若输入平均功率受限：

则输出平均功率为：

在固定方差下，Gaussian 分布微分熵最大。因此最优输入也取 Gaussian 分布：

于是每个实值信道使用的容量为：

若带宽为 ，每秒可传输 个独立实值采样，则 Shannon 容量为：

若噪声功率为：

则：

当 ：

无限带宽下容量仍有限，极限由信号功率和噪声谱密度决定。

---

10-4-4 带宽与 SNR 例题 Bandwidth and SNR Example

已知 AWGN 信道带宽：

要求最大信息传输率：

由 Shannon 公式：

代入：

因此：

所以：

换算为 dB：

若 SNR 降低到 ：

为了维持同样传输率：

故所需带宽为：

同一容量目标下，SNR 降低需要用更大的带宽补偿。