信息论与编码曹雪虹课后习题答案

《信息论与编码》-曹雪虹-课后习题答案 第二章 2.1 一个马尔可夫信源有3 个符号1,23,u u u ，转移概率为：11|1/ 2p u u ，21|1/ 2p u u ，31|0pu u  ，12|1/ 3pu u ，22|0p u u  ，32|2/3pu u ，13|1/ 3pu u ，23|2/3pu u ，33|0pu u  ，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/ 21/ 201/302/31/32/30p  设状态u1，u2，u3稳定后的概率分别为W1，W2、W3 由1231WPWWWW得1231132231231112331223231WWWWWWWWWWWW计算可得1231025925625WWW u1u2u31/21/21/32/32/31/3 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0 |00)p=0.8，(0 |11)p=0.2，(1|00)p=0.2，(1|11)p=0.8，(0 |01)p=0.5，(0 |10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。 解：(0 |00)(00 |00)0.8pp (0 |01)(10 |01)0.5pp (0 |11)(10 |11)0.2pp (0 |10)(00 |10)0.5pp (1|00)(01|00)0.2pp (1|01)(11|01)0.5pp (1|11)(11|11)0.8pp (1|10)(01|10)0.5pp 于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p  状态图为： 000110110.80.20.50.50.50.50.20.8 设各状态 00，01，10，11 的稳态分布概率为W1,W2,W3,W4 有 411iiWPWW 得 13113224324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW 计算得到12345141717514WWWW 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3 和 5 同时出现”这事件的自信息； (2) “两个1 同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即 2, 3, … , 12 构成的子集）的熵； (5) 两个点数中至少有一个是1 的自信息量。 解： (1) bitxpxIxpiii 170.4181lo g)(lo g)(18161616161)( (2) bitxpxIxpiii 170.5361lo g)(lo g)(3616161)( (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26...