电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

江苏大学信息论复习参考

江苏大学信息论复习参考_第1页
1/17
江苏大学信息论复习参考_第2页
2/17
江苏大学信息论复习参考_第3页
3/17
复习参考一、居住在某地区的女孩中有25% 是大学生,在女大学生中有75% 的身高在1.6 米以上,而女孩中在1.6 米以上的占总数的一半。假如我们得知“身高在1.6 米以上的某女孩是大学生”这一消息,问获得的多少信息量? 解:设事件A :女孩是大学生;B:女孩身高在1.6 米以上根据题意,可知:P( A) =0.25 P(B)=0.50 P(B|A )=0.75 而“身高在1.6 米以上的某女孩是大学生”这一消息表明在B 事件发生的条件下,A事件的发生,故其概率为P(A|B )根据贝叶斯定律,可得:P(A|B )=P(AB )/P(B)=P(A )* P(B|A )/ P(B) =0.25*0.75/0.5=0.375 故得知“身高在1.6 米以上的某女孩是大学生”这一消息获得的多少信息量为:I(A|B ) = - logP(A|B) =log(8/3)=3-log3 ≈1.42(比特 /符号 ) 二、某地区的人群中,10%是胖子, 80%不胖不瘦,10%是瘦子。已知胖子得高血压的概率是 15%,不胖不瘦者得高血压的概率是10%,瘦子得高血压的概率是5%,则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解:设事件A :某人是胖子;B:某人是不胖不瘦C:某人是瘦子D:某人是高血压者根据题意,可知:P( A) =0.1 P(B)=0.8 P(C)=0.1 P(D|A )=0.15 P(D|B )=0.1 P(D|C)=0.05 而“该地区的某一位高血压者是胖子”这一消息表明在D 事件发生的条件下,A 事件的发生,故其概率为P(A|D )根据贝叶斯定律,可得:P(D)= P(A)* P( D|A )+ P( B)* P (D|B )+ P(C)* P( D|C)= 0.1 P(A|D )= P(AD )/P(D)= P(D|A )*P( A) / P(D)= 0.15*0.1/0.1 =0.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为:I(A|D ) = - logP (A|D )=log( 0.15)≈ 2.73三、一阶马尔可夫信源的状态图如下所示,信源X 的符号集为 {0,1,2}。⑴求信源平稳分布后的概率分布p(0),p(1),p(2) ⑵求此信源的熵012pppp/2p/2p/2p/2p/2p/2解:⑴该信源达到平稳后,有以下关系成立:(0)(0)(1)/ 2(2)/ 2(1)(0)/ 2(1)(2)/ 2(2)(0)/ 2(1)/ 2(2)(0)(1)(2)1pppppppppppppppppppppppp可得(0)(1)(2)1/ 3ppp⑵(0)(| 0)(1)(|1)(2)(| 2)3(0)(|0)(|0)( ,,)loglog222( )HpH XpH XpH XpH XH XpppH ppppH pp) 四、设有一个马尔可夫信源,它的状态集为{S1,S2,S3},符号集为 {a1, a2,a3},以及在某状态下发出符号集...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

江苏大学信息论复习参考

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部