精选《信息论与编码（第二版）》曹雪虹答案第二章2.1一个马尔可夫信源有3个符号1,23,uuu，转移概率为：11|1/2puu，21|1/2puu，31|0puu，12|1/3puu，22|0puu，32|2/3puu，13|1/3puu，23|2/3puu，33|0puu，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：1/21/201/302/31/32/30p设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由1231WPWWWW得1231132231231112331223231WWWWWWWWWWWW计算可得1231025925625WWW2.2由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p=0.8，(0|11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0|01)p=0.5，(0|10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8pp(0|01)(10|01)0.5pp(0|11)(10|11)0.2pp(0|10)(00|10)0.5pp(1|00)(01|00)0.2pp(1|01)(11|01)0.5ppu1u2u31/21/21/32/32/31/3精选(1|11)(11|11)0.8pp(1|10)(01|10)0.5pp于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p状态图为：000110110.80.20.50.50.50.50.20.8设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有411iiWPWW得13113224324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW计算得到12345141717514WWWW2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,⋯,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)bitxpxIxpiii170.4181log)(log)(18161616161)((2)bitxpxIxpiii170.5361log)(log)(3616161)((3)精选两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161其他15个组合的概率是18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()((4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936586173656915121418133612)((5)bitxpxIxpiii710.13611log)(log)(3611116161)(2-4精选2.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高>160cm）y2（身高<160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11求：身高160厘米以上的某女孩是大学生的信息量即：bitypxypxpyxpyxI415.15.075.025.0log)()/()(log)/(log)/(111111112.6掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当精选小圆点之和是7时，该消息所包含的信息量又是多少？解：1）因圆点之和为3的概率1()(1,2)(2,1)18pxpp该消息自信息量()log()log184.170Ixpxbit2）因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6pxpppppp该消息自信息量()log()log62.585Ixpxbit2.7设有一离散无记忆信源，其概率空间为123401233/81/41/41/8XxxxxP（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量解：122118()loglog1.415()3Ixbitpx同理可以求得233()2,()2,()3IxbitIxbitIxbit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81IIxIxIxIxbit平均每个符号携带的信息量为87.811.9545bit/符号2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发...
