目 录第 1 章 信息论与信息论方法概述1⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1
1 信息、信息科学和信息论1⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1
2 信息论方法的应用及其取得的成果3⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1
3 信息论的形成与发展7⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1
1 通信技术的理论基础7⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1
2 统计数学的一个分支11⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1
3 信号与信息处理的一般理论基础12⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯第 2 章 信息论的基本概念14⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
1 离散熵14⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
1 熵的定义14⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
2 熵函数的性质19⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
3 熵函数形式的唯一性23⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
4 联合熵与条件熵26⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
2 离散互信息29⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
1 互信息的定义29⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
2 多个随机变量下的互信息31⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
3 互信息函数的性质35⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
3 连续随机变量下的熵与互信息38⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
1 连续随机变量下的微分熵38⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
2 随机变量函数的微分熵40⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
3 连续随机变量下的互信息42⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
4 鉴别信息44⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2
1 鉴别信息的定义44⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯2