复习参考一、居住在某地区的女孩中有25% 是大学生,在女大学生中有75% 的身高在1.6 米以上,而女孩中在1.6 米以上的占总数的一半。假如我们得知“身高在1.6 米以上的某女孩是大学生”这一消息,问获得的多少信息量? 解:设事件A :女孩是大学生;B:女孩身高在1.6 米以上根据题意,可知:P( A) =0.25 P(B)=0.50 P(B|A )=0.75 而“身高在1.6 米以上的某女孩是大学生”这一消息表明在B 事件发生的条件下,A事件的发生,故其概率为P(A|B )根据贝叶斯定律,可得:P(A|B )=P(AB )/P(B)=P(A )* P(B|A )/ P(B) =0.25*0.75/0.5=0.375 故得知“身高在1.6 米以上的某女孩是大学生”这一消息获得的多少信息量为:I(A|B ) = - logP(A|B) =log(8/3)=3-log3 ≈1.42(比特 /符号 ) 二、某地区的人群中,10%是胖子, 80%不胖不瘦,10%是瘦子。已知胖子得高血压的概率是 15%,不胖不瘦者得高血压的概率是10%,瘦子得高血压的概率是5%,则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解:设事件A :某人是胖子;B:某人是不胖不瘦C:某人是瘦子D:某人是高血压者根据题意,可知:P( A) =0.1 P(B)=0.8 P(C)=0.1 P(D|A )=0.15 P(D|B )=0.1 P(D|C)=0.05 而“该地区的某一位高血压者是胖子”这一消息表明在D 事件发生的条件下,A 事件的发生,故其概率为P(A|D )根据贝叶斯定律,可得:P(D)= P(A)* P( D|A )+ P( B)* P (D|B )+ P(C)* P( D|C)= 0.1 P(A|D )= P(AD )/P(D)= P(D|A )*P( A) / P(D)= 0.15*0.1/0.1 =0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为:I(A|D ) = - logP (A|D )=log( 0.15)≈ 2.73三、一阶马尔可夫信源的状态图如下所示,信源X 的符号集为 {0,1,2}。⑴求信源平稳分布后的概率分布p(0),p(1),p(2) ⑵求此信源的熵012pppp/2p/2p/2p/2p/2p/2解:⑴该信源达到平稳后,有以下关系成立:(0)(0)(1)/ 2(2)/ 2(1)(0)/ 2(1)(2)/ 2(2)(0)/ 2(1)/ 2(2)(0)(1)(2)1pppppppppppppppppppppppp可得(0)(1)(2)1/ 3ppp⑵(0)(| 0)(1)(|1)(2)(| 2)3(0)(|0)(|0)( ,,)loglog222( )HpH XpH XpH XpH XH XpppH ppppH pp) 四、设有一个马尔可夫信源,它的状态集为{S1,S2,S3},符号集为 {a1, a2,a3},以及在某状态下发出符号集...