一填空题(本题 20 分，每小题 2 分）１、平均自信息为表示信源得平均不确定度，也表示平均每个信源消息所提供得信息量
平均互信息表示从 Y 获得得关于每个 X 得平均信息量,也表示发 X 前后Ｙ得平均不确定性减少得量,还表示通信前后整个系统不确定性减少得量
2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大
3、最大熵值为
4、通信系统模型如下: 5、香农公式为为保证足够大得信道容量，可采纳(１）用频带换信噪比;(2)用信噪比换频带
6、只要,当 N 足够长时,一定存在一种无失真编码
7、当 R＜C 时,只要码长足够长,一定能找到一种编码方法与译码规则,使译码错误概率无穷小
8、在认识论层次上讨论信息得时候,必须同时考虑到 形式、含义与效用 三个方面得因素
９、1948 年,美国数学家 香农 发表了题为“通信得数学理论”得长篇论文,从而创立了信息论
根据信息得性质,可以把信息分成 语法信息、语义信息与语用信息
根据信息得地位,可以把信息分成 客观信息与主观信息
人们讨论信息论得目得就是为了 高效、可靠、安全 地交换与利用各种各样得信息
信息得 可度量性 就是建立信息论得基础
统计度量 就是信息度量最常用得方法
熵 就是香农信息论最基本最重要得概念
事物得不确定度就是用时间统计发生 概率得对数 来描述得
１０、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述
11、一个随机事件发生某一结果后所带来得信息量称为自信息量,定义为 其发生概率对数得负值
12、自信息量得单位一般有 比特、奈特与哈特
13、必定事件得自信息就是 ０
14、不可能事件得自信息量就是 ∞
15、两个相互独立得随机变量得联合自信息量等于 两个自信息量之与
16、数据处理定理：当消息经过多级处理后,随着处理器数目得增多,输入消息与输出消息之间得平均互信息量 趋于
