11 Rate-Distortion Theory
章节目录
- 章节目录
- 11-1 率失真问题 Fundamental of Rate-Distortion Theory
- 11-2 失真度量 Distortion Measure
- 11-3 信息率失真函数 Rate-Distortion Function
- 11-4 离散信源率失真函数 Discrete Source Rate-Distortion Function
- 11-5 连续信源与保真度准则 Continuous Source and Fidelity Criterion
11-1 率失真问题 Fundamental of Rate-Distortion Theory
11-1-1 从无失真到允许失真 From Lossless to Lossy Coding
无失真信源编码要求译码后完全恢复原消息。对离散平稳无记忆信源，平均信息率必须满足：
有噪信道可靠传输要求：
因此无失真、可靠传输同时成立时，需要：
连续信源的绝对熵在无限精度下发散。若要求完全无失真，所需信息率趋于无穷大：
实际音频、图像和视频允许有限失真。率失真理论讨论的是：在平均失真不超过
11-1-2 信道容量与率失真 Channel Capacity and Rate Distortion
信道容量固定信道，优化输入分布：
率失真函数固定信源和失真约束，优化试验信道：
两者都是互信息极值问题，但优化对象相反：
| 对象 | 已知条件 | 优化变量 | 结果含义 |
|---|---|---|---|
| 信道容量 | 信道 | 输入分布 | 信道允许的最大可靠信息率 |
| 率失真函数 | 信源 | 试验信道 | 达到失真 |
率失真函数刻画可压缩程度。若允许更大失真，所需信息率更低。
11-2 失真度量 Distortion Measure
11-2-1 单符号失真 Single-Symbol Distortion
设信源字母表为：
重构字母表为：
试验信道为：
对每一对原符号和重构符号定义非负失真：
失真矩阵为：
11-2-2 常用失真度量 Typical Distortion Measures
Hamming 失真 Hamming Distortion 定义为：
更一般地，可写成常数失真：
对应失真矩阵为：
平方误差失真 Square-Error Distortion 定义为：
若符号代表信号幅度，平方误差对应均方误差 MSE。
11-2-3 平均失真与失真约束 Average Distortion and Constraint
平均失真定义为：
对离散信源：
对 Hamming 失真，
对平方误差失真，
失真约束写为：
在该约束下，寻找最小互信息
11-2-4 扩展信源失真 Expanded Source Distortion
对
序列失真通常定义为逐符号失真之和：
若每个位置统计相同，则扩展信源平均失真为：
因此常把约束写成：
11-3 信息率失真函数 Rate-Distortion Function
11-3-1 试验信道 Trial Channel
对给定信源分布
信息率失真函数定义为：
互信息是试验信道转移概率的凸函数，因此该最小化问题具有明确的凸优化结构。
对
其率失真函数为：
对无记忆信源：
11-3-2 定义域与端点 Domain and Endpoints
最小失真为：
若失真矩阵每一行至少有一个
当不允许失真时，离散信源需要无失真编码：
最大失真对应信息率为
互信息为：
此时最大失真为：
如果
11-3-3 基本性质 Basic Properties
率失真函数的定义域为：
在定义域内，
- 非负：
- 单调不增：
- 凸性：
- 连续性：
若用参数
由于
11-4 离散信源率失真函数 Discrete Source Rate-Distortion Function
11-4-1 拉格朗日参数法 Lagrange Parameter Method
离散信源率失真函数的优化目标为：
约束包括：
以及：
以下参数式使用自然对数，结果单位为 nat/symbol；若要换成 bit/symbol，再除以
构造拉格朗日条件后，最优试验信道满足：
其中
由输出概率一致性，还需满足：
计算流程为：
- 由输出一致性求
； - 由归一化条件求
； - 得到
- 计算：
- 计算：
再由参数
11-4-2 二元信源 Binary Source
设二元信源为：
采用常数 Hamming 型失真矩阵：
若
在
其中：
斜率为：
当
若
例如
因此：
11-4-3 等概率多元信源 Equally Distributed n-ary Source
对等概率
采用常数 Hamming 型失真：
最大失真为：
在
斜率为：
当
11-5 连续信源与保真度准则 Continuous Source and Fidelity Criterion
11-5-1 连续信源率失真函数 Continuous Rate-Distortion Function
对连续信源，失真度量为非负函数：
平均失真为：
试验信道集合为：
连续信源率失真函数定义为：
这里使用下确界
连续情形也可写成参数形式：
其中：
11-5-2 Gaussian 信源 Gaussian Source
设连续信源：
采用平方误差失真：
Gaussian 信源的率失真函数为：
当允许失真
当允许失真达到信源方差时，可以直接输出常数
11-5-3 保真度准则下的信源编码定理 Source Coding Theorem under Fidelity Criterion
保真度准则下的信源编码定理 Source Coding Theorem under Fidelity Criterion
该定理又称香农第三定理 Shannon's Third Theorem。
对离散平稳无记忆信源，若其信息率失真函数为
若编码信息率满足：
则当序列长度足够大时，存在一种编码方法，使译码平均失真满足：
若：
则无法保证译码平均失真不超过
该定理给出允许失真压缩的极限界。
11-5-4 三个 Shannon 界 Three Shannon Limits
信息论中的三个核心极限量为：
| 极限量 | 场景 | 含义 |
|---|---|---|
| 无失真信源编码 | 完全恢复离散信源所需的最小平均信息率 | |
| 有噪信道编码 | 可靠传输允许的最大信息率 | |
| 允许失真信源编码 | 平均失真不超过 |
三者的连接关系为：
若要通过容量为
若
信道编码负责把传输率逼近