信息论知识点VIP免费

nH{X)电编码效率I；N次扩展信源码率R=L/N(N次扩展)编码效率:*信息的主要特性：普遍性、可度量性、相对独立性、可传输性、可存储性、可共享性、时效性通信系统对信息传输的要求：①有效性一一传输的每一条消息携带尽可能多的信息量或单位时间内传输尽可能多的信息量②可靠性一一信源提供的消息经传输后，尽可能准确、不失真地被信宿接受并再现③保密性信源的分类:一方面分为离散信源和连续信源，另一方面分为无记忆信源和有记忆信源。消息中所包含的不确定性的成分才是信息，因此，不确定性的成分越大，或者说出现的概率越小，信息量就越大。离散信源输出xi所包含的信息量用I(xi)来表示并将其称为xi的自信息量，xi的自信息量的定义式为：I(X)=-log2p(xi)自信息量的性质：①I(xi)是随机量；②I(xi)是非负值；③I(xi)是p(xi)的单调递减函数。必然发生的事件不存在任何不确定性，故不含有任何信息量。联合自信息量：I(xiyj)=-log2p(xiyj)条件自信息量：I(xi/yj)=-log2p(xi/yj)在已知yj的条件下，发生xi所带来的信息量。I(yj/xi)=-log2p(yj/xi)在已知xi的条件下，发生yj所带来的信息量。联合自信息量与条件自信息量关系：I(xiyj)=I(xi/yj)+I(yj)=I(yj/xi)+I(xi)自信息量反映的是一个随机事件出现某种结果所包含的信息量，自信息量具有随机变量的性质。单符号离散信源的信息熵：将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的信息熵，也叫香农熵，信息熵的定义为：H(X)=E[I(xi)]=工p(xi)I(xi)=一工p(xi)log2p(xi)i=1i=1信息熵的单位是比特/符号(bit/symbol)。信息熵是从整体出发对一个离散信源信息量的度量°H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H(X)不等于每接收一条消息所获得的平均信息量。信息熵H(X)的性质和定理：①非负性；②严格上凸性;lnxWx-1③最大信息熵定理H(X)Wlog2nlnxWx-1单符号离散信源中各消息等概率出现时，具有最大熵；④对R亠、、^称性H(X)=H[p(x1),p(x2)…,p(xn)]=-p(xi)log2p(xi)与信源的总体结构有关而不在乎个别消息的i=1概率，与消息的取值无关；⑤确定性：H(0,1)=0；⑥扩展性⑦可加性H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)N维信息熵的链式法则；⑧极值性H(X/Y)WH(X);H(Y/X)WH(Y)如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。N维离散平稳信源的熵率(平均符号熵)H(XX...X尸丄H(XX...X)OTXplSj)-1p(sj)的求取问题，1_"，其中=3=吟LLL/NR无失真信源编码定理：离散信源的熵为H(X)，对N次扩展信源进行二进制不等长信源编码，一定存在一种无失真编码方法，构成单义可译码，当N足够大时，使得码率H(X)WR〈H(X)+E式中，&为任意给定的小正数。扩展信源无失真编码的存在性香农第一定理熵率H(X)是无失真编码的码率下界一一香农界。码率不能低于香农界，否则译码会出错H(X)是描述信源每个符号所需的最少平均比特数异前置码：异前置码的满足香农第一定理①异前置码满足R三H(X)离散信源的熵为H(X)，对N次扩展信源进行异前置码编码，码率R三H(X)I(X;Z)WI(X;Y)I(X;Z)WI(Y;Z)信道剩余度=1-R/Cj皿“「严心吨凸H(X)=NH(X)£l②异前置码的渐近最优性编码效率•从提高传...