chp02-03 习题课: 1、 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有多少信息量?如果你在已知今天是星期四的情况下提出同样的问题,则答案中你能获得多少信息量(假设已知星期一至星期日的排序)? (提示:因假设已知星期一至星期日的排序,而且也知道一星期只有七天,故在不知道今天是星期几的情况下,问明天是星期几的答案,只可能是星期一至星期日七天之一。而在已知今天是星期四的情况下,问明天是星期几的答案必定是星期五。) 2、 居住在某地区的女孩中有 25%是大学生,在女大学生中有 75%是身高 1.6 米以上的,而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息,问获得多少信息量? 3、 设离散无记忆信源 814141833210)(4321aaaaxpX 其发出的消息为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息是多少? (2) 在此消息中平均每个符号携带的信息量是多少? 4、 一阶马尔可夫信源的状态图如图 4.1 所示,信源 X 的符号集为{0,1,2}并定义pq1。 (1) 求信源平稳后的概率分布 P(0),P(1)和 P(2)。 (2) 求此信源的熵。 (3) 近似认为此信源无记忆时,符号的概率分布等于平稳分布。求近似信源的熵 H(X)并与 H∞进行比较。 (4) 对一阶马尔可夫信源 p 取何值时取最大值,又当0p和1p时结果如何。 012qp/2qp/2p/2p/2p/2p/2q 图 4.1 一阶马氏信源的状态转移图 5、设给定两随机变量 X1 和 X2,它们的联合概率密度为 212/)(21,21)(2221xxexxpxx 求随机变量 Y= X1+ X2 的概率密度函数,并计算变量 Y 的熵 h(Y)。 (提示:独立正态分布的随机变量之和仍是正态随机变量,其均值等于原均值之和,方差等于原方差之和。) 6、 有一信源发出恒定宽度,但不同幅度的脉冲,幅度值 x 处在a1 和 a2 之间。此信源连接至某信道,信道接收端接收脉冲的幅度 y 处在b1 和 b2 之间。已知随机变量 X 和 Y 的联合概率密度函数 ))((1)(1212bbaaxyp 试计算h(X),h(Y),h(XY)和I(X;Y)。 6、 设某连续信道,其特性如下 :),(31)|(22 3/)21(yxeaxypxy 而信道输入变量X 的概率密度函数为: )4/(2221)|(xeaxyp 试计算:(1)信源的熵h(x)。 (2)平均...