《信息理论与编码》习题参考答案1.信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。2.语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。第2章1.一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2XxxP其中：1x表示摸出的球为红球事件，2x表示摸出的球是白球事件。a)如果摸出的是红球，则获得的信息量是11loglog0.8Ixpx（比特）b)如果摸出的是白球，则获得的信息量是22loglog0.2Ixpx（比特）c)如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为1npx次，白球出现的次数为2npx次。随机摸取n次后总共所获得信息量为1122npxIxnpxIxd)则平均随机摸取一次所获得的信息量为112211221loglog0.72HXnpxIxnpxIxnpxpxpxpx比特/次2.居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量答：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上。根据题意，则知：0.25PA0.50PB0.75PBA而“身高1.6米以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A事件发生。所以其概率为PAB根据贝叶斯定律可得0.250.750.3750.5PAPBAPABPABPBPB则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量loglog0.3751.415IABPAB（比特）3.设一个系统传送10个数字：0,1,2,⋯,9。奇数在以的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量答：发送集合0,1,,9,X⋯接收集合0,1,,9,Y⋯其中10,2,4,6,810pyii因为1,1,3,5,7,981,1,3,5,7,92pyixjijijpyixjijij所以,1(),1,3,5,7,910ijpyipxjpyixjij最后得：90loglog103.232iHYpyipyi（比特/符号）4.某一无记忆信源的符号集为{0,1}，已知信源的概率空间为013144XP。(1)求信源熵。(2)求由m个“0”和(100-m)个“l”构成的某一特定序列的自信息量的表达式。(3)计算由100个符号构成的符号序列的熵。答：（1）信源熵为134log4log0.8113443HX比特/符号（2）该特定序列用A表示则10013log4441.51.585(bit)mmImA（3）因为信源是无记忆信源，所以10010081.13HXHX比特/符号序列5.有一离散无记忆信源，其输出为0,1,2X，相应的概率为01/4p，11/4p，21/2p，设计两个独立实验去观察它，其结果分别为10,1Y，20,1Y。已知条件概率如表2-4所示。表2-4习题5表1pyx010101001010111021/21/2201(1)求1;IXY和2;IXY，并判断作哪一个实验好些。(2)求12;,IXYY，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于X的信息。(3)求12;IXYY和，并解释它们的含义。答：（1）111;=IXYHYHYX，要求1HY和1HYX需要先求1PY，1PXY，1PYX已知。222;=IXYHYHYX，要求2HY和2HYX需要先求2PY，2PXY，2PYX已知。由11PXYPXPYX及联合概率分布与边缘概率分布的关系可得1PXY及1PY，如表2-1所示：表2-11Y1PXYX012Y2PXYX0101/4001/40101/411/4021/41/4201/21PY1/21/22PY1/21/2所以111log2log2122HY比特/符号111111log1log1log2log244442HYX比特/符号11111;1=22IXYHYHYX比特/符号同样可求出2PXY及2PY，如表2-2所示：所以211log2log2122HY比特/符号2111log1log1log10442HYX比特/符号222;1IXYHYHYX比特/符号因此第二个实验好些。（2）122222;IXYYHYYHYYX，因此要求出12PYY，12PYYX和12PXYY。由于1Y、2Y是相互独立的实验，所...
