信息论基础
Information Theory
UESTC3021 / UESTCHN3010

---

例たとえば確たしかなものが無ないとして，

若世间再无什么确切之物，

これから先さきにはどうやって進すすめばいい？

今后又该如何前进才好？

「落日未來 (feat. 初音ミク)」

nerdneko/初音ミク

---

笔记正文

Lecture 2离散信息源与自信息Discrete Information Source and Self-InformationLecture 2离散信息源与自信息Discrete Information Source and Self-Information2-1 离散信息源 Discrete Information Source / 2-1-1 信息源与离散信源 / 信息源 Information Source / 信息源，简称信源，负责发送 消息 Message。 / 不确定 / 随机的消息负责承载 信息 Information。Lecture 3离散信息源的熵Entropy of Discrete Information SourceLecture 3离散信息源的熵Entropy of Discrete Information Source3-1 熵 Entropy / 3-1-1 离散信源的熵 / 对于一个离散信源： / 我们有如下定义： / 熵 EntropyLecture 4多符号平稳信源Multi-Symbol Stationary Information SourceLecture 4多符号平稳信源Multi-Symbol Stationary Information Source4-1 多符号信源 Multi-Symbol Information Source / 4-1-1 多符号信源 / 多符号序列 / 通常，一个信源输出的是一个由随机符号组成的序列，序列中的随机符号相互间统计相关。我们使用向量来表示这样的一个序列： / 一般情况下，随机符号 X_i 和 X_{i+r} 在不同时刻有不同的统计学性质。Lecture 5Markov 信源与冗余Markov Source and RedundancyLecture 5Markov 信源与冗余Markov Source and Redundancy5-1 Markov 信源定义 Definition of Markov Source / 5-1-1 有限齐次 Markov 链 Finite Homogeneous Markov Chain / Markov 性质 Markov Property / 若下一状态的概率只由当前状态决定，而与更早的历史状态无关，则称该随机过程满足 Markov 性质 Markov Property。 / 设状态序列为：Lecture 6无损信源编码Lossless Source CodingLecture 6无损信源编码Lossless Source Coding6-1 信源编码基础 Fundamentals of Source Coding / 6-1-1 通信系统里的编码位置 Coding in Communication System / 一个通信系统可以被如下框图描述： / 在这条链路里，三类编码的目标不同： / 编码 Coding: 主要目标 Main GoalLecture 7互自信息与互信息Mutual Self-Information and Mutual InformationLecture 7互自信息与互信息Mutual Self-Information and Mutual Information7-1 单符号离散信道 Single-Symbol Discrete Channel / 7-1-1 前序回顾 Previous Lectures / 前几讲已经处理了三个问题： / 用自信息 Self-information 描述一个具体消息携带多少信息； / 用熵 Entropy 描述一个离散信源平均产生多少信息；Lecture 8离散信道容量Discrete Channel CapacityLecture 8离散信道容量Discrete Channel Capacity8-1 信道容量定义 Definition of Channel Capacity / 8-1-1 单符号离散信道回顾 Single-Symbol Discrete Channel / 单符号离散信道由输入字母表、输出字母表和转移概率描述： / 信道转移矩阵写为： / 每一行是给定输入 a_i 后的输出分布，因此：Lecture 9信道编码Channel CodingLecture 9信道编码Channel Coding9-1 误差控制系统 Error Control Systems / 9-1-1 ARQ、FEC 与 HEC / 信道编码的目标是在有噪信道中提高传输可靠性。它通过加入冗余，使接收端能检测或纠正传输错误。 / 三类误差控制方式如下： / 方式 Method: 机制Lecture 10连续信息源与信道容量Continuous Information Source and Channel CapacityLecture 10连续信息源与信道容量Continuous Information Source and Channel Capacity10-1 连续信源 Continuous Information Source / 10-1-1 随机过程模型 Stochastic Process Model / 连续信源在连续时间上产生连续取值的消息，可表示为随机过程： / 某一样本函数 x(t) 的时间平均为： / 固定时刻 t_i 的随机变量为 X_{t_i}，其集合平均为：Lecture 11数据率失真理论Rate-Distortion TheoryLecture 11数据率失真理论Rate-Distortion Theory11-1 率失真问题 Fundamental of Rate-Distortion Theory / 11-1-1 从无失真到允许失真 From Lossless to Lossy Coding / 无失真信源编码要求译码后完全恢复原消息。对离散平稳无记忆信源，平均信息率必须满足： / 有噪信道可靠传输要求： / 因此无失真、可靠传输同时成立时，需要：

TIP

本笔记写于2026年的暑假，距离信息论的课程已经过去了半年的时间。

其实按照一开始的想法，信息论的笔记应该在2026年年初完成；但是由于各种原因，以及大三下繁忙的课程，不得不推迟到现在才完成。

其实信息论真的是一门很有意思的课程，我甚至觉得这是通信几年的专业课中最特别的一门科目。（虽然我考的并不好，如果你是通信的学生，非常建议你去看一看格院2025年年末的信息论期末考试，看完你就会理解我的。）

总之，祝你好运。

2026-7-6 成都