目 录第 1 章 信息论与信息论方法概述1⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1 .1 信息、信息科学和信息论1⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1 .2 信息论方法的应用及其取得的成果3⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1 .3 信息论的形成与发展7⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1 .3 .1 通信技术的理论基础7⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1 .3 .2 统计数学的一个分支11⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1 .3 .3 信号与信息处理的一般理论基础12⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第 2 章 信息论的基本概念14⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .1 离散熵14⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .1 .1 熵的定义14⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .1 .2 熵函数的性质19⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .1 .3 熵函数形式的唯一性23⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .1 .4 联合熵与条件熵26⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .2 离散互信息29⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .2 .1 互信息的定义29⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .2 .2 多个随机变量下的互信息31⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .2 .3 互信息函数的性质35⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .3 连续随机变量下的熵与互信息38⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .3 .1 连续随机变量下的微分熵38⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .3 .2 随机变量函数的微分熵40⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .3 .3 连续随机变量下的互信息42⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .4 鉴别信息44⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .4 .1 鉴别信息的定义44⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .4 .2 Kullback 与香农两种信息量度之间的关系47⋯⋯⋯⋯⋯⋯2 .4 .3 鉴别信息的性质51⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯ * 2 .4 .4 鉴别信息函数形式的唯一性57⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2 .5 对信息论基本概念的若干评注70⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯习题71⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第 3 章 信源的熵率、冗余度与冗余度压缩编码74⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯3 .1 信源、信源模型与信源编码74⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯3 .1 .1 信源74⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯3 .1 .2 信源模型75⋯⋯⋯⋯⋯...
