一填空题(本题 20 分，每小题 2 分）１、平均自信息为表示信源得平均不确定度，也表示平均每个信源消息所提供得信息量。平均互信息表示从 Y 获得得关于每个 X 得平均信息量,也表示发 X 前后Ｙ得平均不确定性减少得量,还表示通信前后整个系统不确定性减少得量。2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。3、最大熵值为。4、通信系统模型如下: 5、香农公式为为保证足够大得信道容量，可采纳(１）用频带换信噪比;(2)用信噪比换频带。6、只要,当 N 足够长时,一定存在一种无失真编码。7、当 R＜C 时,只要码长足够长,一定能找到一种编码方法与译码规则,使译码错误概率无穷小。8、在认识论层次上讨论信息得时候,必须同时考虑到 形式、含义与效用 三个方面得因素。９、1948 年,美国数学家 香农 发表了题为“通信得数学理论”得长篇论文,从而创立了信息论。根据信息得性质,可以把信息分成 语法信息、语义信息与语用信息 。根据信息得地位,可以把信息分成 客观信息与主观信息 。人们讨论信息论得目得就是为了 高效、可靠、安全 地交换与利用各种各样得信息。信息得 可度量性 就是建立信息论得基础。统计度量 就是信息度量最常用得方法。熵 就是香农信息论最基本最重要得概念。事物得不确定度就是用时间统计发生 概率得对数 来描述得。１０、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。11、一个随机事件发生某一结果后所带来得信息量称为自信息量,定义为 其发生概率对数得负值 。12、自信息量得单位一般有 比特、奈特与哈特 。13、必定事件得自信息就是 ０ 。14、不可能事件得自信息量就是 ∞ 。 15、两个相互独立得随机变量得联合自信息量等于 两个自信息量之与 。16、数据处理定理：当消息经过多级处理后,随着处理器数目得增多,输入消息与输出消息之间得平均互信息量 趋于变小 。1 ７、离散平稳无记忆信源 X 得 N 次扩展信源得熵等于离散信源Ｘ得熵得 Ｎ倍 。 １ 8、离散平稳有记忆信源得极限熵,。19、对于 n 元 m 阶马尔可夫信源,其状态空间共有 ｎｍ 个不同得状态。20、一维连续随即变量 X 在[a,b]区间内均匀分布时，其信源熵为 log2(ｂ－a） 。2 １、平均功率为 P 得高斯分布得连续信源,其信源熵,Hc(X)=。22、对于限峰值功率得 N 维连续信源,当概率密度 均匀分布 时连续信源熵具有最大值。２ 3、对于限平均功率得一维连续信源,...
