信息论习题答案第二章---陈前斌版第2章习题2-3同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求：(1)“3和5同时出现”事件的自信息量；(2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量；(4)两个点数之和(即2，3，⋯，12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息。解：（1）P（3、5或5、3）＝P（3、5）+P（5、3）＝1/18I＝log2（18）＝4.1699bit。（2）P（1、1）＝l/36。I＝log2（36）＝5.1699bit。（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。不同点出现时有15种，概率1/18。H（i，j）＝6*1/36*log2（36）+15*1/18*log2（18）＝4.3366bit/事件。（4）i+j23456789101112P(i+j)1/362/363/364/365/366/365/364/363/362/361/36H(i+j)=H(1/362/363/364/365/366/365/364/363/362/361/36)=3.2744bit/事件。（5）P（1、1or1、jori、1）＝1/36+5/36+5/36＝11/36。I＝log2（36/11）＝1.7105bit/2-5居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？、解：P（女大学生）＝1/4；P（身高>1.6m/女大学生）=3/4；P（身高>1.6m）＝1/2；P（女大学生/身高>1.6m）＝P（身高>1.6m、女大学生）/P（身高>1.6m）＝3/4*1/4*2＝3/8I＝log2（8/3）＝1.4150bit。2-7两个实验123{,,}Xxxx和123{,,}Yyyy，联合概率()ijijpxyp为1112132122233132337/241/2401/241/41/2401/247/24ppppppppp（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：P(x,y)Y.xy1y2y3Xx1x27/241/2401/241/41/241/31/3x301/247/241/3.y1/31/31/3（1）3311(,)(,)log(,)2.301/ijijijHXYpxyPxybitsymbol（2）31()()log()1.5894/jjjHYpypybitsymbol（3）(|)(,)()2.3011.58940.7151/HXYHXYHYbitsymbol2．11某一无记忆信源的符号集为0,1，已知01/4p，13/4p。（1）求信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有m个0和100m个1）的信息量的表达（3）计算（2）中的序列熵。解：（1）因为信源是无记忆信源，所以符号的平均熵符号/..,81bit04150432414341X（2）某一特定序列（例如：m个0和100-m个1）出现的概率为m-100mm-100m10021L43411P0PXXXPXP,,,所以，自信息量为bitm)(XP,X,,XXI-mmL3log1002004341loglog210010021（3）序列的熵序列/81bitX100XL2-13有一个马尔可夫信源，已知转移概率为1121122221(|),(|),(|)1,(|)033PSSPSSPSSPSS。试画出状态转移图，并求出信源熵。解：（1）由题意可得状态转移图由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。2/S1/1S一步转移矩阵013132P由ijijiWpW和1pjij可得方程组1WWW31WWW32W2112211解方程组得到各状态的稳态分布概率41W43W21//，因为001SX3132SX21,/,,/，所以信源的熵符号/..,/69bit0920433132H43sXHspXiii2-14有一个一阶马尔可夫链,,,,,21rXXX各rX取值于集},,,{21qaaaA，已知起始概率为41,21)(3211ppxXPp，其转移概率如下：ji1231231/22/32/31/401/31/41/30（1）求321XXX的联合熵和平均符号熵；（2）求这个链的极限平均符号熵；（3）求210HHH、、和它们对应的冗余度。解：（1）方法一、因为23121213121321/xxP/xxPxPx/xxP/xxPxPxxxP可以计算得到,,,161/aaP/aaPaPaaaP161/aaP/aaPaPaaaP81/aaP/aaPaPaaaP131113111211121111111111,,,241aaaP0aaaP121aaaP321221121,,,0aaaP241aaaP121aaaP331231131,,,241aaaP241aaaP121aaaP312212112,,,0aaaP0aaaP0aaaP322222122,,,0aaaP361aaaP181aaaP332232132,,,241aaaP241aaaP121aaaP313213113,,,361aaaP0aaaP181aaaP323223123,,,0aaaP0aaaP0aaaP333233133所以，三个符号3.967bit/log363612log181812log242416log121214log161612log881xxxlogPxxxPXXX321XXX321321123所以，平均符号熵符号/1.322bitXXX31X32133方法二、三个符号3.967bit/1.2...
