《信息论基础》试卷三 一、判断题（正确打√，错误打×）（每题1 分，共 6 分） 1. 并联信道的容量是各子信道容量之和。 ( ) 2． 互信息是非负的。 ( ) 3. 相同功率的噪声中，高斯噪声使信道容量最小。 ( √ ) 4. 最大后验概率准则与最大似然准则是等价的。 ( ) 5. 如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。 ( √ ) 6. 离散无记忆信源 N 次扩展源的熵是原信源熵的 N倍。 ( √ ) 二、填空题（每空 2 分，共 20 分） 1．信源符号的相关程度越大，信源的符号熵越 小 ，信源的剩余度越 大 。 2． 若信道的输入为 X，输出为 Y，信道疑义度 H(X|Y)表示 ，在无噪情况下，H(X|Y)= 0 。 3．信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的 上凸 函数。 4．R(D)是满足 D 准则下平均传送每信源符号的所需的 最少 比特数，它是定义域上的严格 递减 函数。 6． AWGN 信道下实现可靠通信的信噪比下界为 -1.59 dB，此时对应的频谱利用率为.0 。 三、计算题（共 74 分） 1.（16 分）设信源 X 的符号集为{0，1，2}，其概率分布为1014PP，122P ，每信源符号通过两个信道同时传输，输出分别为Y，Z，两信道转移概率如图所示： XY01201121211XZ01201111 求（1）H(Y)，H(Z)； （各 2 分共 4 分） （2）H(XY)，H(XZ)，H(XYZ)； （各 2 分共 6 分） （3）I(X;Y)，I(X;Z), I(Y;Z)； （各 2 分共 6 分） 2. （共 18 分）一个离散无记忆信源发出 M 个等概率消息，每个消息编成长度为n 的码字通过一个离散无记忆二元对称信道传输。设信道的输入为X，输出为 Y， 错误率为0.1；n 长编码序列的每一个符号按达到信道容量的概率选择，共选择 M个码字，n 选得足够大。 1) 求该信道的信道容量；（ 5 分） 2) 当传输速率达到容量时，确定 M 与 n 的关系。（5 分） 3) 估计信道输入典型序列的个数 ；（4 分） 4) 估计信道输出典型序列的个数 ； （4 分） 3．（共 16 分）设离散无记忆信源的概率空间为1.09.0ssS21P，对信源进行 N次扩展，采用霍夫曼编码。 （1） 求信源熵H(S)和信源冗余度。（各 2 分，共 4 分） （2） 当 N=2 时的平均码长和编码效率为多少？（4+2=6 分） （3） 当 N= 时的平均码长和编码效率为多少？（...
