学习必备欢迎下载例题例 1简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？解： 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为mH2maxlog。例 2 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。解： 平均自信息为iiixpxpXH)(log)()(表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息为)()|(log)();(ijiijijxpyxpyxpYXI表示从 Y获得的关于每个X的平均信息量， 也表示发 X前后 Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。例 3 解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？解： 等长信源编码定理：对于任意>0， >0，只要)(logXLLHmLK，则当 L 足够长时必可使译码差错< 。变长信源编码定理：只要1log)(log)(mXHKmXH，一定存在一种无失真编码。等长码和变长码的最小平均码长均为mXHlog)(，编码效率最高可达100%。例 4 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。解： 最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。例 5 什么是保真度准则？对二元信ppXPX110)(源，其失真矩阵00aaD，求0aa>0 时率失真函数的minD和maxD？解： 1）保真度准则为：平均失真度不大于允许的失真度。2）因为失真矩阵中每行都有一个0，所以有0minD，而},)1min{(maxpaapD。例 6 一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按6.0)1(,4.0)0(pp发出符号，求)|(),(2132XXXHXH和平均符号熵)(1lim21NNXXXHN解：942.1)(2)(2XHXHbit/2个符号971.0)()|(3213XHXXXH bit/符号971.0)()(1lim)(1lim21XHXNHNXXXHNNNN bit/符号学习必备欢迎下载例 7 分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。解：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。例 8 二元无记忆信源，有75.0...
