第二章信息量和熵VIP专享VIP免费

第二章信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为2=23=6bit因此，信息速率为61000=6000bit/s2.3掷一对无偏骰子，告诉你得到的总的点数为：(a)7;(b)12。问各得到多少信息量。解：(1)可能的组合为{1，6},{2，5},{3，4},{4，3},{5，2},{6，1}==得到的信息量===2.585bit(2)可能的唯一，为{6，6}=得到的信息量===5.17bit2.4经过充分洗牌后的一副扑克（52张），问：(a)任何一种特定的排列所给出的信息量是多少？(b)若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a)=信息量===225.58bit(b)==信息量==13.208bit2.9随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，==6=2.585bit===2(36+18+12+9+)+6=3.2744bit=-=-[-]而=，所以=2-=1.8955bit或=-=+-而=，所以=2-=1.8955bit===2.585bit=+=1.8955+2.585=4.4805bit2.10设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。解：=-因为输入等概，由信道条件可知，即输出等概，则=10==-=0-=--=25+845==1bit=-=10-1=5=2.3219bit2.11令{}为一等概消息集，各消息相应被编成下述二元码字=0000，=0011，=0101，=0110，=1001，=1010，=1100，=1111通过转移概率为p的BSC传送。求：(a)接收到的第一个数字0与之间的互信息量。(b)接收到的前二个数字00与之间的互信息量。(c)接收到的前三个数字000与之间的互信息量。(d)接收到的前四个数字0000与之间的互信息量。解：即，，，=+====1+bit=====bit===3[1+]bit==bit2.12计算习题2.9中、、、、。解：根据题2.9分析=2(+++++++)=3.5993bit=-=-=1.0143bit=-=-=0.3249bit=-=-=1.0143bit=-=-=0.6894bit=-=-=0bit2.14对于任意概率事件集X,Y,Z，证明下述关系式成立(a)+，给出等号成立的条件(b)=+(c)证明：(b)=-=-=--=+(c)=-=[-][-]=-=当=，即X给定条件下，Y与Z相互独立时等号成立(a)上式(c)左右两边加上，可得++于是+2.28令概率空间，令Y是连续随机变量。已知条件概率密度为，求：(a)Y的概率密度(b)(c)若对Y做如下硬判决求，并对结果进行解释。解：(a)由已知，可得===+=(b)==2.5bit===2bit=-=0.5bit(c)由可得到V的分布律V-101p1/41/21/4再由可知V-101p(V|x=-1)1/21/20p(V|x=1)01/21/2bit=1bit==0.5bit2.29令和是同一事件集U上的两个概率分布，相应的熵分别为和。(a)对于，证明=+是概率分布(b)是相应于分布的熵，试证明+证明：(a)由于和是同一事件集U上的两个概率分布，于是0，0=1，=1又，则=+0=+=1因此，是概率分布。(b)==（引理2）=+第三章信源编码——离散信源无失真编码3.1试证明长为的元等长码至多有个码字。证：①在元码树上，第一点节点有个，第二级有，每个节点对应一个码字，若最长码有，则函数有==，此时，所有码字对应码树中的所有节点。②码长为1的个；码长为2的个，…，码长为的个∴总共=个3.2设有一离散无记忆信源。若对其输出的长为100的事件序列中含有两个或者少于两个的序列提供不同的码字。(a)在等长编码下，求二元码的最短码长。(b)求错误概率（误组率）。解:(a)不含的序列1个长为100的序列中含有1个的序列=100个长为100的序列中含有2个的序列=4950个∴所需提供码的总数M=1+100+4950=5051于是采用二元等长编码=12.3，故取=13(b)当长度为100的序列中含有两个或更多的时出现错误，因此错误概率为=-=3.3设有一离散无记忆信源，U=，其熵为。考察其长为的输出序列，当时满足下式(a)在=0.05，=0.1下求(b)在=，=下求(c)令是序列的集合，其中试求L=时情况(a)(b)下，T中元素个数的上下限。解：===0.81bit===-==0.471则根据契比雪夫大数定理(a)===1884(b)==4.71(c)由条件可知为典型序列，若设元素个数为，则根据定理其中，，可知(i)，，下边界：上边界：=故(ii)，，=故3.4对于有4字母的离散无记忆信源有两个码A和码B，参看题表。字母概率码A码Ba10.411a20.30110a30.2001100...