复习－1 《信息论与编码技术》复习提纲 一、考试题型 1.名词解释（10%） 2.填空题（20%） 3.判断题（10%） 4.简答题（20%） 5.证明题（10%） 6.计算题（30%） 二、考试时间 1 月9 日10:20－12:20 三、复习题纲 第0 章 绪论 题纲： I. 什么是信息？ II. 什么是信息论？ III. 什么是信息的通信模型？ IV. 什么是信息的测度？ V. 自信息量的定义、含义、性质 需掌握的问题： 1. 信息的定义是什么？（广义信息、狭义信息— —Shannon 信息、概率信息） 2. Shannon 信息论中信息的三要素是什么？ 3. 通信系统模型图是什么？每一部分的作用的是什么？ 复习－2 4. 什么是信息测度？ 5. 什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？ 6. 自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？ 第 1 章 信息论基础 ㈠《离散信源》题纲： I. 信源的定义、分类 II. 离散信源的数学模型 III. 熵的定义、含义、性质，联合熵、条件熵 IV . 离散无记忆信源的特性、熵 V . 离散有记忆信源的熵、平均符号熵、极限熵 V I. 马尔科夫信源的定义、状态转移图 V II. 信源的相对信息率和冗余度 需掌握的问题： 1. 信源的定义、分类是什么？ 2. 离散信源的数学模型是什么？ 3. 信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？ 4. 单符号离散信源最大熵是多少？信源概率如何分布时能达到？ 5. 信源的码率和信息率是什么，如何计算？ 6. 什么是离散无记忆信源？什么是离散有记忆信源？ 7. 离散无记忆信源的数学模型如何描述？信息熵、平均符 复习－3 号熵如何计算？ 8. 离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N 阶熵）的计算、关系和性质是什么？ 9. 什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2 个条件是什么？ 10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？ 11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？ 12.信源的相对信息率和冗余度是什么？如何计算？ ㈡《离散信道》题纲： I. 信道的数学模型及分类 II. 典型离散信道的数学模型 III. 先验熵和后验熵 IV. 互信息的定义、性质 V. 平均互信息的定义、含义、性质、维拉图 VI. 信道容量的定义 VII. 特殊离散信道的信道容量 需掌握...
