信息论基础复习提纲

哈 尔 滨 医 科 大 学 生 物 信 息 科 学 与 技 术 学 院 信 息 论 基 础 第 - 1 - 页 共 10 页 第 一 章 绪 论 1、什么是信息？香农对于信息是如何定义的。 答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message)。 2、简述通信系统模型的组成及各部分的含义。 答：（1）、信源：信源是产生消息的源。信源产生信息的速率---熵率。 （2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。 （3）、信道：信道是信息传输和存储的媒介。 （4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。 （5）、信宿：信宿是消息的接收者（人或机器）。 3、简述香农信息论 的核心及其特点。 答：（1）、香农信息论 的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 （2）、特点：①、以概率论、随机过程为基本研究工具。 ②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。 ③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。 ④、要求信源为随机过程，不研究信宿。 第 二章 信息的度量 2.1 自信息和互信息 1、自信息（量）： （1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。某个消息ix 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、  ixI是 ixp的严格递减函数。当  21xpxp时  21xIxI概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。    iiixpxpxI1lo glo g哈 尔 滨 医 科 大 学 生 物 信 息 科 学 与技术学 院 信 息 论基础 第 - 2 - 页 共 10 页 ②、极限情况下，当 0ixp时 ixI；当  1ixp时， 0ixI。 ③、两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和，即自信息论满足可加性。      21212121;xIxIxxIxpxpxxp。 （ 3）、例 2.1： ①、英文字母中“a”出现的概率为 0.064，“c”出现的概率...