第一次信息论作业参考答案_492908107

2009 年信息论第一次作业参考答案 1. 在NBA 季后赛中，两个队要进行七战四胜制的系列赛，当任意一个队获得四场胜利时，这一轮系列赛结束。不妨用A、B 来表示这两个队，用X 表示这场系列赛中每场比赛的结果，X 可能的取值有 AAAA,BABABAA，BBBAAAA 等。用Y 来表示总共进行的比赛场次。Y 的取值范围为 4 至 7。假设每场比赛独立，且两队实力相当，即每个队在每场比赛中获胜的概率均为 50%。求 H(X),H(Y),H(Y|X)和 H(X|Y)。 解: 确定 Y=k 时，X 可能的取值个数为 312*kC− ,因为如果A 队赢得整个系列赛，则最后一场必然是A 赢，而前面 k-1 场中A 赢了 3 场的可能情况有31kC− 种，于是 X 的可能取值为312*kC− 。其中每一个取值对应的概率为2 k− 。 Y=4时，X 可能取值个数有 2 个，每个的概率为 1/16; 11(4)*2168P Y === Y=5 时，X 可能取值个数有 342*8C =个，每个的概率为 1/32; 11(5)*8324P Y === Y=6 时，X 可能取值个数有 352*20C =个，每个的概率为 1/64; 15(6)*206416P Y === Y=7 时，X 可能取值个数有 362*40C =个，每个的概率为 1/128; 15(7)*4012816P Y === 于是有 ()( )log( )1155log16log32log64log648416165.8125H Xp xp x= −=+++=∑ ( )( )log( )11516516log8log 4loglog841651651.924H Yp yp y= −=+++=∑ (| )0H Y X =，因为确定 X，Y 就完全确定了。 (| )()(| )( )3.889H X YH XH Y XH Y=+−= 2. 和的熵 设X ，Y 为两个随机变量，取值分别为{12,,...,rx xx }和{12,,...,sy yy }。令ZXY=+。 1) 证明(| )(| )H Z XH Y X=。如果 X ，Y 独立，则( )( )H YH Z≤，且()( )H XH Z≤，即独立随机变量的和随机性增加。 2 ) 试给出一个例子（即不独立的情况），满足()( )H XH Z>和( )( )H YH Z>。 3 ) 在什么条件下( )()( )H ZH XH Y=+成立？ 解： （1） ZXY=+，则 (|)(|)p Zz Xxp Yzx Xx====−=，有 (| )( )(|)log(|)xzH Z Xp xp Zz Xxp Zz Xx= −====∑∑ ( )(|)log(|)xzp xp Yzx Xxp Yzx Xx= −=−==−=∑∑ ( )(|)log(|)xyp xp Yy Xxp Yy Xx= −====∑∑ (| )H Y X=。 如果 X ，Y 独立，则(| )( )H Y XH Y=。由于条件减少熵，故 ( )(| )( | )( )H ZH Z XH Y XH Y≥==， 同理有( )()H ZH X≥。 （2 ）考虑...