信息论基础》试卷(期末A卷

试题编号： 重庆邮电大学2007/2008学年2 学期 《信息论基础》试卷（期末）（A卷）（半开卷） 题 号 一 二 三 四 五 六 七 八 总 分 得 分 评卷人 一、填空题（本大题共 10小空，每小空 1分，共 20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分 为 和 2.一个八进制信源的最大熵为 3.有一信源 X，其概率分布为414121321xxxPX，其信源剩余度为 ；若对该信源进行十次扩展，则每十个符号的平均信息量是 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为 b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是 ；其能在每个自由度熵的最大熵是 ；若放大器的最高频率为 F，则单位时间内输出的最大信息量是 . 5. 若某一 信源 X ，其平均功率受限为 16w ，其概率密度函数是高斯分布时，差熵的最大值为 ；与其熵相等的非高斯分布信源的功率为 6、信源编码的主要目的是 ，信道编码的主要目的是 。 7、无失真信源编码的平均码长最小理论极限制为 . 8、当 时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为 和 。 10、在下面空格中选择填入数学符号“ , , ,    ”或“  ” （1）当X和Y相互独立时，H（XY） H(X)+H(X/Y)。 （2）假设信道输入用 X表示，信道输出用 Y表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 二、（8分）掷两粒骰子，各面出现的概率都是1/6，计算信息量： 1.当点数和为3时，该消息包含的信息量是多少？ 2.当点数和为7是，该消息包含的信息量是多少？ 3.两个点数中没有一个是1的自信息是多少？ 三、（12分）设 X、Y是两个相互统计独立的二元随机变量，其取-1或 1的概率相等。定义另一个二元随机变量 Z，取 Z=YX（一般乘积）。试计算： 1.H（Y）、H（Z）； 2.H（XY）、H（YZ）； 3.I（X;Y）、I（Y;Z）； 四、(15分)如图所示为一个三状态马尔科夫信源的转移概率矩阵 P=1102211022111424 1 . 绘制状态转移图； 2 . 求该马尔科夫信源的稳态分布； 3 . 求极限熵； 五、（12分）在干扰离散对称信道上传输符号 1和 0，已知 P（0）=1/4,P(1)=3/4,试求： 1. 该信道的转移概率矩阵 P 2. 信道疑义度 H（X|Y） 3. 该信道的信道容量以及其输入概率分布 六、（10分）某信道的转移...