数据处理定理为：串联信道的输入输出组成一个马尔可夫链，且有皿""',一、概念简答题（每题分，共分）什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。丹（産）=戸（再）1鹉尹（吗）平均互信息：表示从获得的关于每个的平均信息量；表示发前后的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。心;F）=-亍％（阴）1/简述最大离散熵定理。对于一个有个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。=log^m最大熵值为解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的Q型凸函数，是信道传递概率的型凸函数。对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。产町/“产7'-|。说明经数据处理后，一般只会增加信息的损失。什么是保真度准则？对二元信源U'01■PW・・1-・・，其失真矩，求时率失写出香农公式，并说明其物理意义。当信道带宽为,信噪比为时求信道容量。香农公式为取决干信噪比和带宽。=3°=5OOO10g2(1+1000)=49836billsLI。％m解释无失真变长信源编码定理。只要，当足够长时，一定存在一种无失真编码。解释有噪信道编码定理。答：当<时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。9巩黑"I）冋白/■黑）=0.2,尸（黑/黑）=0J求其熵比（畫）呦=黑冬二白0.30.7答：）信源模型为LH(X)=log2=0.881执打符号2-1尸⑷）=工尸（幻）尸（码©）」=1,2彳>1尸（幻+尸（旳）=1兄徑）=-工》戸（印）戸⑷他）1。&戸⑷仏）=0-5533M符号则二元对称信道如右图。31）若，'求咛）求该信道的信道容量和最佳输入分布。*H{X）=0.8113加打符号争：）7（^;7）=0.0616加打符号）假设黑白消息出现刖后有关联，其依赖关系为:p（s/a）=0.9尸（黑伯）=0.1写出香农公式，并说明其物理意义。当信道带宽为,信噪比为时求信道容量。香农公式为00001111=2信源空间・・閃.答：）最小似然译码准则下，有月®i）=兀盼2）=也=也1）最大错误概率准则下，2S5S6S7%0.40.20.10.10.050.050.050.05试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。答：）二元码的码字依序为：，，，，平均码长&皿頼符号，编码效率皆cm）三元码的码字依序为：，，，，，，平均码长厶F曲符号，编码效率廿曲与最大似然译码准则确定译码规则，并计算相应的平均错误概率。月01）=心s.&设有一离散信道，其信道传递矩阵为'11r236111623111362，并设・眄）=1pg5=I，试分别按最小错误概率准则00001111=210000111010001000010001000010001已知一（，）线性分组码的生成矩阵为求:）输入为全时该码的码字；）最小码距。答:）输入为时，码字为时，码字为5.6xl03=4xlO310g2(l+即__匚)5X10_9X4X103对应的17o.2O6xlO-30.06564CT3）最大错误概率准则下，11答：）输入为时，码字为；输入时，码字设某一信号的信息传输率为，在带宽为的高斯信道中传输，噪声功率谱X。试求：（）无差错传输需要的最小输入功率是多少？（）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。答：）无错传输时，有0）在~%最大熵心TTf自由度R
