江苏大学信息论复习参考

复习参考一、居住在某地区的女孩中有25% 是大学生，在女大学生中有75% 的身高在1.6 米以上，而女孩中在1.6 米以上的占总数的一半。假如我们得知“身高在1.6 米以上的某女孩是大学生”这一消息，问获得的多少信息量? 解：设事件A ：女孩是大学生；B：女孩身高在1.6 米以上根据题意，可知：P（ A） =0.25 P（B）=0.50 P（B|A ）=0.75 而“身高在1.6 米以上的某女孩是大学生”这一消息表明在B 事件发生的条件下，A事件的发生，故其概率为P（A|B ）根据贝叶斯定律，可得：P（A|B ）=P（AB ）/P（B）=P（A ）* P（B|A ）/ P（B） =0.25*0.75/0.5=0.375 故得知“身高在1.6 米以上的某女孩是大学生”这一消息获得的多少信息量为：I（A|B ） = - logP（A|B） =log（8/3）=3-log3 ≈1.42(比特 /符号 ) 二、某地区的人群中，10％是胖子， 80％不胖不瘦，10％是瘦子。已知胖子得高血压的概率是 15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解：设事件A ：某人是胖子；B：某人是不胖不瘦C：某人是瘦子D：某人是高血压者根据题意，可知：P（ A） =0.1 P（B）=0.8 P（C）=0.1 P（D|A ）=0.15 P（D|B ）=0.1 P（D|C）=0.05 而“该地区的某一位高血压者是胖子”这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P（A|D ）根据贝叶斯定律，可得：P（D）＝ P（A）* P（ D|A ）＋ P（ B）* P （D|B ）＋ P（C）* P（ D|C）＝ 0.1 P（A|D ）＝ P（AD ）/P（D）＝ P（D|A ）*P（ A） / P（D）＝ 0.15*0.1/0.1 ＝0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：I（A|D ） = - logP （A|D ）=log（ 0.15）≈ 2.73三、一阶马尔可夫信源的状态图如下所示，信源X 的符号集为 {0,1,2}。⑴求信源平稳分布后的概率分布p(0),p(1),p(2) ⑵求此信源的熵012pppp/2p/2p/2p/2p/2p/2解：⑴该信源达到平稳后，有以下关系成立：(0)(0)(1)/ 2(2)/ 2(1)(0)/ 2(1)(2)/ 2(2)(0)/ 2(1)/ 2(2)(0)(1)(2)1pppppppppppppppppppppppp可得(0)(1)(2)1/ 3ppp⑵(0)(| 0)(1)(|1)(2)(| 2)3(0)(|0)(|0)( ,,)loglog222( )HpH XpH XpH XpH XH XpppH ppppH pp) 四、设有一个马尔可夫信源，它的状态集为{S1，S2，S3}，符号集为 {a1， a2，a3}，以及在某状态下发出符号集...