1，某系统（7，4）码)()(01201230123456cccmmmmcccccccc其三位校验位与信息位的关系为：（1）求对应的生成矩阵和校验矩阵；（2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式；（4）若接收码字R=1110011，求发码。解：（1）1000110010001100101110001101G101110011100100111001H（2）dmin=3（3）SE00000000000010000001010000001010000001001010001000111001000001101000001101000000（4）.RHT=[001]接收出错E=0000001R+E=C=1110010(发码)2.已知,XY的联合概率,pxy为：求HX，HY，,HXY，;IXY解:(0)2/3px(1)1/3px(1/3,2/3)HXHYH0.918bit/symbol,(1/3,1/3,1/3)HXYH=1.585bit/symbol;()()(,)IXYHXHYHXY0.251bit/symbol3.一阶齐次马尔可夫信源消息集},,{321aaaX，状态集},,{321SSSS，且令3,2,1,iaSii，条件转移概率为01XY011/31/301/303132313131214141)/(ijSaP，(1)画出该马氏链的状态转移图；(2)计算信源的极限熵。解：(1)（2）1321323112123312311411332231141wwwwwwwwwwwwww→3.03.04.0321wwwH(X|S1)=H(1/4,1/4,1/2)=1.5比特/符号H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符号H(X|S3)=H(2/3,1/3)=0.918比特/符号3|0.41.50.31.5850.30.9181.3511HwHXSiii比特/符号4.若有一信源2.08.021xxPX，每秒钟发出2.55个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的，容量为1bit/二元符号），而信道每秒钟只传递2个二元符号。（1）试问信源不通过编码（即x10,x21在信道中传输）（2）能否直接与信道连接？（3）若通过适当编码能否在此信道中进行无失真传输？（4）试构造一种哈夫曼编码(两个符号一起编码)，（5）使该信源可以在此信道中无失真传输。解：（1）不能，此时信源符号通过0，1在信道中传输，2.55二元符号/s>2二元符号/s（2）从信息率进行比较，2.55*(0.8,0.2)H=1.84<1*2可以进行无失真传输（3）410.640.16*20.2*3iiiKpK1.56二元符号/2个信源符号此时1.56/2*2.55=1.989二元符号/s<2二元符号/s5.两个BSC信道的级联如右图所示：（1）写出信道转移矩阵；（2）求这个信道的信道容量。解：（1）6.设随机变量}1,0{},{21xxX和}1,0{},{21yyY的联合概率空间为x1x1x1x2x2x1x2x20.640.160.160.0410111001010.640.20.1601010.640.36010101011111定义一个新的随机变量YXZ(普通乘积)（1）计算熵H（X），H（Y），H（Z），H（XZ），H（YZ），以及H（XYZ）；（2）计算条件熵H（X|Y），H（Y|X），H（X|Z），H（Z|X），H（Y|Z），H（Z|Y），H（X|YZ），H（Y|XZ）以及H（Z|XY）；（3）计算平均互信息量I（X；Y），I（X：Z），I（Y：Z），I（X；Y|Z），I（Y；Z|X）以及I（X：，Z|Y）。解：（1）（2）(3)7.设二元对称信道的输入概率分布分别为]4/14/3[][XP，转移矩阵为3/23/13/13/2|XYP，（１）求信道的输入熵，输出熵，平均互信息量；（２）求信道容量和最佳输入分布；（３）求信道剩余度。解：（1）信道的输入熵4log4/1)3/4(log4/3)(22XH；（2）最佳输入分布为]2/12/1[][XP，此时信道的容量为)3/1,3/2(1HC(3)信道的剩余度：);(YXIC8.25.025.05.0XP，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。解：8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：331211)()()(abFabFabF，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：332211)()()(abFabFabF，平均差错率为1-1/4-1/8-1/8=1/2。9.设有一批电阻，按阻值分70%是2kΩ，30%是5kΩ；按功耗分64%是1/8W，36%是1/4W。现已知2kΩ电阻中80%是1/8W，假如得知5kΩ电阻的功耗为1/4W，问获得多少信息量。解：根据题意有3.07.05221krkrR，36.064.04/128/11wwW，8.0)1/1(rwp由15/4)2/1()2/1()2()1/1()1()1(rwprwprprwprpwpX\Y0101/83/81/213/81/81/21/21/2X\Z0101/201/213/81/81/27/81/8Y\Z0101/201/213/81/81/27/81/8所以15/11)2/1(1)2/2(rwprwp得知5kΩ电阻的功耗为1/4W，获得的自信息量为))2/2((rwplb0.448bit10.已知6符号离散信源的出现概率为321321161814121654321aaaaaa，试计算它的熵、Huffman编码和费诺编码的码字、平均码长及编码效率。解：该离散信源的熵为323213232116161881441221)()(...
