电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

信息论习题答案---陈前斌版VIP免费

信息论习题答案---陈前斌版_第1页
1/12
信息论习题答案---陈前斌版_第2页
2/12
信息论习题答案---陈前斌版_第3页
3/12
信息论习题答案第二章---陈前斌版第2章习题2-3同时掷两个正常的骰子,也就是各面呈现的概率都是l/6,求:(1)“3和5同时出现”事件的自信息量;(2)“两个1同时出现”事件的自信息量;(3)两个点数的各种组合(无序对)的熵或平均信息量;(4)两个点数之和(即2,3,⋯,12构成的子集)的熵;(5)两个点数中至少有一个是1的自信息。解:(1)P(3、5或5、3)=P(3、5)+P(5、3)=1/18I=log2(18)=4.1699bit。(2)P(1、1)=l/36。I=log2(36)=5.1699bit。(3)相同点出现时(11、22、33、44、55、66)有6种,概率1/36。不同点出现时有15种,概率1/18。H(i,j)=6*1/36*log2(36)+15*1/18*log2(18)=4.3366bit/事件。(4)i+j23456789101112P(i+j)1/362/363/364/365/366/365/364/363/362/361/36H(i+j)=H(1/362/363/364/365/366/365/364/363/362/361/36)=3.2744bit/事件。(5)P(1、1or1、jori、1)=1/36+5/36+5/36=11/36。I=log2(36/11)=1.7105bit/2-5居住某地区的女孩中有25%是大学生,在女大学生中有75%身高为1.6m以上,而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息,问获得多少信息量?、解:P(女大学生)=1/4;P(身高>1.6m/女大学生)=3/4;P(身高>1.6m)=1/2;P(女大学生/身高>1.6m)=P(身高>1.6m、女大学生)/P(身高>1.6m)=3/4*1/4*2=3/8I=log2(8/3)=1.4150bit。2-7两个实验123{,,}Xxxx和123{,,}Yyyy,联合概率()ijijpxyp为1112132122233132337/241/2401/241/41/2401/247/24ppppppppp(1)如果有人告诉你X和Y的实验结果,你得到的平均信息量是多少?(2)如果有人告诉你Y的实验结果,你得到的平均信息量是多少?(3)在已知Y的实验结果的情况下,告诉你X的实验结果,你得到的平均信息量是多少?解:P(x,y)Y.xy1y2y3Xx1x27/241/2401/241/41/241/31/3x301/247/241/3.y1/31/31/3(1)3311(,)(,)log(,)2.301/ijijijHXYpxyPxybitsymbol(2)31()()log()1.5894/jjjHYpypybitsymbol(3)(|)(,)()2.3011.58940.7151/HXYHXYHYbitsymbol2.11某一无记忆信源的符号集为0,1,已知01/4p,13/4p。(1)求信源符号的平均信息量;(2)由100个符号构成的序列,求某一特定序列(例如有m个0和100m个1)的信息量的表达(3)计算(2)中的序列熵。解:(1)因为信源是无记忆信源,所以符号的平均熵符号/..,81bit04150432414341X(2)某一特定序列(例如:m个0和100-m个1)出现的概率为m-100mm-100m10021L43411P0PXXXPXP,,,所以,自信息量为bitm)(XP,X,,XXI-mmL3log1002004341loglog210010021(3)序列的熵序列/81bitX100XL2-13有一个马尔可夫信源,已知转移概率为1121122221(|),(|),(|)1,(|)033PSSPSSPSSPSS。试画出状态转移图,并求出信源熵。解:(1)由题意可得状态转移图由状态转移图可知:该马尔可夫链具有遍历性,平稳后状态的极限分布存在。2/S1/1S一步转移矩阵013132P由ijijiWpW和1pjij可得方程组1WWW31WWW32W2112211解方程组得到各状态的稳态分布概率41W43W21//,因为001SX3132SX21,/,,/,所以信源的熵符号/..,/69bit0920433132H43sXHspXiii2-14有一个一阶马尔可夫链,,,,,21rXXX各rX取值于集},,,{21qaaaA,已知起始概率为41,21)(3211ppxXPp,其转移概率如下:ji1231231/22/32/31/401/31/41/30(1)求321XXX的联合熵和平均符号熵;(2)求这个链的极限平均符号熵;(3)求210HHH、、和它们对应的冗余度。解:(1)方法一、因为23121213121321/xxP/xxPxPx/xxP/xxPxPxxxP可以计算得到,,,161/aaP/aaPaPaaaP161/aaP/aaPaPaaaP81/aaP/aaPaPaaaP131113111211121111111111,,,241aaaP0aaaP121aaaP321221121,,,0aaaP241aaaP121aaaP331231131,,,241aaaP241aaaP121aaaP312212112,,,0aaaP0aaaP0aaaP322222122,,,0aaaP361aaaP181aaaP332232132,,,241aaaP241aaaP121aaaP313213113,,,361aaaP0aaaP181aaaP323223123,,,0aaaP0aaaP0aaaP333233133所以,三个符号3.967bit/log363612log181812log242416log121214log161612log881xxxlogPxxxPXXX321XXX321321123所以,平均符号熵符号/1.322bitXXX31X32133方法二、三个符号3.967bit/1.2...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

信息论习题答案---陈前斌版

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部