学习必备欢迎下载例题例 1简述最大离散熵定理
对于一个有m个符号的离散信源，其最大熵是多少
解： 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大
最大熵值为mH2maxlog
例 2 什么是平均自信息（信息熵）
什么是平均互信息
比较一下两个概念的异同之处
解： 平均自信息为iiixpxpXH)(log)()(表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量
平均互信息为)()|(log)();(ijiijijxpyxpyxpYXI表示从 Y获得的关于每个X的平均信息量， 也表示发 X前后 Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量
例 3 解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少
编码效率最高可达多少
解： 等长信源编码定理：对于任意>0， >0，只要)(logXLLHmLK，则当 L 足够长时必可使译码差错<
变长信源编码定理：只要1log)(log)(mXHKmXH，一定存在一种无失真编码
等长码和变长码的最小平均码长均为mXHlog)(，编码效率最高可达100%
例 4 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系
解： 最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字
最小距离译码准则下，将接收序列译为与其距离最小的码字
三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则
例 5 什么是保真度准则
对二元信ppXPX110)(源，其失真矩阵00aaD，求0aa>0 时率失真函数的minD和maxD
解： 1）保真度准则为：平均失真度不大于允许的失真度
2）因为失真
