信息论基础复习提纲VIP免费

第一章绪论1、什么是信息？香农对于信息是如何定义的。答：信息是事物运动状态或存在方式的不确定性的描述(Informationisameasureofone'sfreedomofchoicewhenoneselectsamessage)。2、简述通信系统模型的组成及各部分的含义。答：（1）、信源：信源是产生消息的源。信源产生信息的速率---熵率。（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。（3）、信道：信道是信息传输和存储的媒介。（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。（5）、信宿：信宿是消息的接收者（人或机器）。3、简述香农信息论的核心及其特点。答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。（2）、特点：①、以概率论、随机过程为基本研究工具。②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。④、要求信源为随机过程，不研究信宿。第二章信息的度量2.1自信息和互信息1、自信息（量）：（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。某个消息ix出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示：iiixpxpxI1loglog（2）、性质：①、ixI是ixp的严格递减函数。当21xpxp时21xIxI概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。②、极限情况下，当0ixp时ixI；当1ixp时，0ixI。③、两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和，即自信息论满足可加性。21212121;xIxIxxIxpxpxxp。（3）、例2.1：①、英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。②、假定前后字母出现是互相独立的，计算“ac”的自信息。③、假定前后字母出现不是互相独立的，当“a”出现以后，“c”出现的概率为0.04，计算“a”出现以后，“c”出现的自信息量。2、互信息：一个事件jy所给出关于另一个事件ix的信息定义为互信息，用jiyxI;表示：jijijijijjijijiijiypxpyxpypxypxyIyIxpyxpyxIxIyxIlog|log||log|;2.2平均自信息1、定义：随机变量X的每一个可能取值的自信息ixI的统计平均值定义为随机变量X的平均自信息量。2、熵函数的性质：（1）、对称性：（2）、确定性：（3）、非负性：（4）、扩展性：（5）、连续性：（6）、递推性：（7）、极值性：（8）、上凸性：3、联合熵：联合自信息的数学期望。它是二维随机变量XY的不确定性的度量。4、条件熵：21()[()]()log()qiiiiHXEIxpxpx21111()()()()log()nmnmijijijijijijHXYpxyIxypxypxy22(/)(/)XY(/X)()log(/)(X/)()log(/)iiiijjiijijijijxHYxHYxHYpxypyxHYpxypxy由于不同的，是变化的，对的所有可能值进行统计平均，就得出给定时，的条件熵122111(,,)(,,)(,,)qqqqHpppHpppHppp(1,0)(1,00)(1,0,0)=0HHH，12()(,,)0qHpHppp112120lim(,,,)(,,)qqqqHpppHppp121120lim(,,,)(,,)qqqHppppHppp121211212(,,,,)(,,)(,,)mnmnnnnnqqqHpppqqqHppppHppp122111(,,)(,,)lognHppppHnnnn1212[(1)]()(1)()fxxfxfx5、各类熵之间的关系：（1）、联合熵与信息熵、条件熵之间的关系：)/()()(XYHXHXYH。推广：12112121//NNNXXXXHXXHXHXXXH;当二维随机变量X,Y相互独立时，联合熵等于X,Y各自熵之和。)()()(YHXHXYH。（2）、条件熵与信息熵的关系：)()/(XHYXH;)()/(YHXYH。（3）、联合熵与信息熵的关系：)()()(YHXHXYH当X、Y相互独立时等号成立。推广到N个随机变量：NNXHXHXHXXXH2121。6、例2.5：随机变量X，Y的联合概率分布如表2.1所示，求联合熵XYH和条件熵XYH|。2.3平均互信息1、定义：从整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，定义互信息jiyxI;在XY的联合空间中的统计平均值为随机变量X和Y间的平均互信息。YXHXHyxpyxpxpyxpxpyxpyxpyxIyxpYXImjjijinimjijinimjijijinimjjijini||1log;1log;|log;;;;11111111条件熵YXH|表示给定随机变量Y后...