精选1．有一个马尔可夫信源，已知p(x1|x1)=2/3，p(x2|x1)=1/3，p(x1|x2)=1，p(x2|x2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为：1/3○○2/3(x1)1(x2)在计算信源熵之前，先用转移概率求稳定状态下二个状态x1和x2的概率)(1xp和)(2xp立方程：)()()(1111xpxxpxp+)()(221xpxxp=)()(2132xpxp)()()(1122xpxxpxp+)()(222xpxxp=)(0)(2131xpxp)()(21xpxp=1得431)(xp412)(xp马尔可夫信源熵H=IJijijixxpxxpxp)(log)()(得H=0.689bit/符号2．设有一个无记忆信源发出符号A和B，已知4341)(.)(BpAp。求：①计算该信源熵；②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率；③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①XiixpxpXH)(log)()(=0.812bit/符号②发出二重符号序列消息的信源,发出四种消息的概率分别为1614141)(AAp1634341)(ABp1634143)(BAp1694343)(BBp用费诺编码方法代码组biBB01BA102AB1103AA1113无记忆信源624.1)(2)(2XHXHbit/双符号平均代码组长度2B=1.687bit/双符号BXHR)(22=0.963bit/码元时间③三重符号序列消息有8个,它们的概率分别为精选641)(AAAp643)(AABp643)(BAAp643)(ABAp649)(BBAp649)(BABp649)(ABBp6427)(BBBp用霍夫曼编码方法代码组biBBB6427001BBA6490)(641911103BAB6491)(6418)(64411013ABB649001003AAB6431)(6461111115BAA64301111105ABA6431)(6440111015AAA6410111005)(3)(3XHXH=2.436bit/三重符号序列3B=2.469码元/三重符号序列3R=BXH)(3=0.987bit/码元时间3．已知符号集合{321,,xxx}为无限离散消息集合，它们的出现概率分别为211)(xp，412)(xp813)(xp···iixp21)(···求：①用香农编码方法写出各个符号消息的码字（代码组）；②计算码字的平均信息传输速率；③计算信源编码效率。解:①ix)(ixp)(jaxP)(logjaxpib代码组1x2101102x412122103x8121+4133110ixi2121+41+⋯+121iii111⋯110(i-1个1)精选②IiixpxpXH)(log)()(=2bit/符号IiibPb=2码元/符号码元时间/1)(bitbxHR③二进制信道C=1bit/码元时间信源编码的编码效率=CR=100%4．已知一个信源包含八个符号消息,它们的概率分布如下表，求：ABCDEFGH0.10.180.40.050.060.10.070.04①对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。解:①XxpxpXH)(log)()(=2552bit/符号,时间熵tH2.552bit/stR=tH2.552bit/s②霍夫曼编码符号ip代码组biC0.4001B0.1801103A0.10(1,0)10030(0.23)1F0.1011(0.6)11114G0.071101141E0.060(0.13)110104D0.051(0.19)1110150H0.040(0.09)111005平均码长b=2.61码元/符号码元时间/9779.0)(bitbxHR信源编码的编码效率=CR=97.79%
