Ayaskt Workspace

Appearance

7 Mutual Self-Information and Mutual Information ​

字数 8,983｜阅读时间 18 分钟｜Ayaskt
2026/07/07 15:35:34 CST
オレンジスケール - 長瀬有花 封面图
アスファルトの上うえ インクが広ひろがった、たそがれの道みちは、
墨水在柏油路上扩散，黄昏之中的道路，
背伸せのびした はずの今日きょうも、いつのまに かしまって くみたいだ。
本应该伸着懒腰的今天也，宛如在不知不觉中结束了。

「オレンジスケール」

長瀬有花

章节目录 ​

7-1 单符号离散信道 Single-Symbol Discrete Channel ​

7-1-1 前序回顾 Previous Lectures ​

前几讲已经处理了三个问题：

  1. 用自信息 Self-information 描述一个具体消息携带多少信息；
  2. 用熵 Entropy 描述一个离散信源平均产生多少信息；
  3. 用信源编码 Source Coding 把信源消息转换成码字，并减少冗余。

这一讲换到信道视角。问题变为：

信源发送了多少信息，信宿最终收到了多少？

信道有噪声时，接收端看到的 不一定等于发送端发出的 。互信息就是用来量化 与 之间统计关联的信息量。

7-1-2 离散信道模型 Discrete Channel Model ​

单符号离散信道可以写成：

离散信道模型

信源 的概率模型为：

其中：

信宿 的输出字母表为：

信道本身由转移概率描述：

若写成矩阵：

每一行对应一个已知输入 下所有可能输出的概率，因此：

7-1-3 先验、后验与联合概率 Prior, Posterior and Joint Probability ​

发送前， 的概率是先验概率：

信道输出 后，接收端再判断发送消息为 的概率为后验概率：

联合概率由信源分布和信道转移概率给出：

输出端边缘概率为：

后验概率由 Bayes 公式得到：

理想信道没有噪声，输入能被无失真接收：

实际信道有噪声和干扰， 可能被接收成不同的 。互信息要处理的就是这种不确定的输入输出关系。

7-2 互自信息 Mutual Self-Information ​

7-2-1 互自信息定义 Definition ​

互自信息 Mutual Self-Information

接收端收到 后，关于发送端消息 获得的信息量称为 与 的互自信息 Mutual Self-Information：

用 Bayes 公式可得两个等价形式：

也可以写成联合概率形式：

这三个式子在计算中都常用：

PROBLEM IT7-E1

设 2018 World Cup Final 中，France 在常规时间内的结果建模为：

收到消息 “France is unbeaten in 90 mins”。求 。

SOLUTION

表示 France 未败，因此只可能对应 或 ：

后验概率为：

于是：

对 ，收到 后后验概率为 ，因此：

这表示 直接排除了 France lose 这个事件。

若天气信源为：

收到 “not sunny” 后：

所以：

7-2-2 互自信息的物理意义 Physical Meaning ​

从信源输入 的角度看：

其中：

因此，互自信息表示收到 后，关于 的不确定性减少量。

从信道输出 的角度看：

从整个通信系统看，若不知道 与 之间有信道联系，则 与 同时出现的概率会被看成：

传输后，真实联合概率为：

不确定性减少量为：

这和定义一致。

7-2-3 互自信息性质 Properties ​

1. 对称性 ​

互自信息满足：

从联合概率形式可以直接看出：

2. 独立时为零 ​

若 与 独立，则：

因此：

收到 不会改变对 的判断。

3. 可正可负 ​

由定义：

因此：

正值表示 支持 ，负值表示 反而削弱 的可能性。

7-2-4 条件互自信息 Conditional Mutual Self-Information ​

若还给定另一个消息 ，则 与 在 条件下的互自信息为：

联合消息 关于 的互自信息为：

由定义可得链式关系：

这个式子和熵的链式法则类似。先看 提供多少关于 的信息，再看已知 后， 还能额外提供多少信息。

7-3 互信息 Mutual Information ​

7-3-1 从互自信息到互信息 From Mutual Self-Information to Mutual Information ​

互自信息描述的是一对具体消息 之间传递的信息量。不同消息对的互自信息一般不同。

要描述整个信源 与信宿 之间平均传输了多少信息，需要对所有联合消息求数学期望。

互信息 Mutual Information

互信息 Mutual Information 定义为互自信息在联合概率空间上的平均值：

代入互自信息定义可得：

互信息衡量的是 与 的平均统计相关性。若信道完全失效， 与 独立，则互信息为 ；若信道无失真， 完全确定 ，则互信息达到 。

7-3-2 三种等价表达 Equivalent Expressions ​

先定义条件熵：

它也叫信道疑义度 Channel Equivocation 或 损失熵 Loss Entropy，表示收到 后，对发送端 仍有多少不确定性。

类似地：

它也叫噪声熵 Noise Entropy，表示已知输入 时，信道噪声对输出 引入了多少不确定性。

互信息有三个常用等价表达：

其中联合熵为：

三种表达对应三个视角：

表达含义
收到 后，关于信源 的不确定性减少量
已知 后，关于信宿 的不确定性减少量
建立信道相关性后，整个系统总不确定性的减少量

7-3-3 二元信道例题 Binary Channel Example ​

PROBLEM IT7-E2

信源 的概率分布为：

信宿字母表为 ，信道转移矩阵为：

计算 、、、 与 。

SOLUTION

先算联合概率：

因此：

输出端概率为：

所以：

联合熵为：

于是：

同理：

互信息为：

也可以用联合熵表达：

后验概率可以顺手算出来：

收到 时， 的可能性明显上升；收到 时， 的可能性明显上升。因此互信息为正，但由于信道仍会混淆输入，互信息远小于 。

7-4 互信息性质与熵关系 Properties and Entropy Relationships ​

7-4-1 互信息基本性质 Basic Properties ​

1. 对称性 ​

互信息满足：

该性质来自互自信息的对称性，也可以由联合熵表达直接得到：

2. 非负性 ​

互信息非负：

最差情况下， 与 独立，接收端没有获得任何关于信源的信息，此时互信息为 。

3. 上界 ​

由条件熵非负性：

因此：

即：

4. 两个特殊信道 ​

理想无噪声信道中， 能完全确定 ：

完全失效信道中， 与 独立：

7-4-2 函数性质 Functional Properties ​

互信息由两部分决定：

  1. 信源概率分布 ；
  2. 信道转移概率 。

因此可写成：

若信道固定，即 给定，则互信息是信源分布 的凹函数：

这个性质会用于下一讲的信道容量 Channel Capacity：在给定信道下，寻找最优输入分布，使 最大。

若信源固定，即 给定，则互信息是信道转移概率 的凸函数：

这个性质和后面的率失真理论有关。

7-4-3 数据处理不等式 Data-Processing Inequality ​

考虑级联信道：

若给定 后， 与 条件独立，则 构成 Markov 链。

数据处理不等式 Data-Processing Inequality

对 Markov 链 ，有：

数据处理不会创造关于原始输入的新信息。它可以把数据变成更方便的形式，但不能让输出 比中间变量 含有更多关于 的信息。

从条件熵角度看：

越往后处理，关于最初输入 的疑义度不会降低。

如果对信宿进行多次观测，则情况相反。额外观测可以减少关于 的条件熵：

于是：

但无论观测多少次，能获得的信息不会超过信源自身熵：

7-4-4 熵关系总表 Entropy Relationship Summary ​

熵与互信息关系

几个式子需要一起记：

对应关系可以压成一张表：

量公式含义
信源输入的不确定性
信宿输出的不确定性
收到 后，关于 的剩余疑义
已知 后，信道噪声造成的输出不确定性
输入输出整体的不确定性
输入和输出共享的信息量

考试里最稳的计算流程是：

  1. 先由 和 写出联合概率 ；
  2. 对联合概率按行、按列求边缘概率 、；
  3. 先算 、、；
  4. 再由

求条件熵；

  1. 最后用任意一个等价式求 。

除特别注明外，本站原创内容采用 CC BY-NC-SA 4.0 协议授权；引用的歌词、课程材料、图片等第三方内容版权归原权利人所有。
Built with VitePress.

Copyright © 2025-present Ayaskt