信息论与编码理论-习题答案-姜楠-王健-编著-清华大学VIP免费

第1章绪论1.1信源、编码器、信道、干扰、译码器、信宿1.2香农1.3通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。1.5略第2章信息的统计度量2.1少2.2y的出现有助于肯定x的出现、y的出现有助于否定x的出现、x和y相互独立2.3FTTTF2.42.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为，由于每枚硬币被取出的概率是相同的，所以所需要的信息量二是确定它比其他硬币是重还是轻，设其发生的概率为，则总的概率所需要的信息量2.6设表示“大学生”这一事件，表示“身高1.60m以上”这一事件，则故2.7四进制波形所含的信息量为，八进制波形所含信息量为，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。2.8故以3为底的信息单位是比特的1.585倍。2.9（1）J、Z（2）E（3）X2.10（1）两粒骰子向上面的小圆点数之和为3时有(1,2)和(2,1)两种可能性，总的组合数为，则圆点数之和为3出现的概率为故包含的信息量为（2）小圆点数之和为7的情况有(1,6),(6,1),(2,5),(5,2),(3,4),(4,3)，则圆点数之和为7出现的概率为故包含的信息量为2.11对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为平均每个回答中含有的信息量为对于女性，是红绿色盲的概率记作，不是红绿色盲的概率记作，则平均每个回答中含有的信息量为所以2.12天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为，12个球中的不等重球（可较轻，也可较重）的不确定性为：，因为,所以3次测量可以找出该球。2.13（1）当最后3场比赛麦克胜的次数比大卫多时，麦克最终才能胜，因此同理麦克最终比赛结果的熵为因为胜、负、平这3种结果接近等概，所以该随机变量的熵接近最大熵。（2）假定大卫最后3场比赛全部获胜，那么麦克也必须全部获胜最后3场比赛最终才能得平，否则就是负。麦克3场比赛全部获胜的可能性是，因此在假定大卫最后3场比赛全部获胜的情况下麦克的最终比赛结果的条件熵是2.14（1）假定一个家庭里有个女孩，1个男孩，相应的概率是，因此女孩的平均数是，女孩的平均数和男孩的平均数相等。（2）2.15（1）根据题意，可以得到：①②由式②可以得到：③将式③代入式②得到：④由于的取值必须在0到1之间，由式③和式④可以得到的取值范围在0.9到0.95之间。(2)就业情况的熵为它在的取值范围内的曲线如图所示。（3）当时，达到最大值，这时，。2.16假设表示当地的实际天气情况，表示气象台预报的天气情况，表示总是预报不下雨的天气情况。，可见气象台预报的确实不好。但是如果总是预报不下雨的话则会更糟，因为和是相互独立的两个随机变量，即，所以因此气象台的预报准确率虽然比总是预报不下雨低，但还是传递了一些信息，消除了一些不确定性。2.17由互信息量的定义因为，则有同理，因为，则有2.18（1）根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为，随机变量不是等概分布，所以。（2）根据熵的递增性，。（3）（4）因为随机变量是的函数，所以2.19假定为最大的概率。根据熵函数的性质，如果，则熵小于2；如果，则只有一种可能：。如果，则有无数个解，其中之一为；如果，则没有解。2.202.21第3章离散信源3.1p(x2)3.253.313.423.5（1）87.81bit（2）1.95bit3.6Hmax(X)=13.7（1）消息符合的平均熵（2）自信息量为（3）（2）中的熵为3.8因为边沿分布条件分布概率如下：01209/111/8012/113/42/9201/87/9所以信息熵：条件熵：联合熵：或可知解释：（1）信源的条件熵比信源熵少这是由符号之间的相互依存性造成的。（2）联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为因此原因：略去了和之间的依赖性。3.9由定义，信源的熵信源的概率分布要求满足，而此题中。即各种可能发生的情况下，概率之和大于“1”。在实际情...