2025年信息论知识点

信息的重要特性：普遍性、可度量性、相对独立性、可传播性、可存储性、可共享性、时效性通信系统对信息传播的规定：①有效性——传播的每一条消息携带尽量多的信息量或单位时间内传播尽量多的信息量②可靠性——信源提供的消息经传播后，尽量精确、不失真地被信宿接受并再现③保密性 信源的分类:首先分为离散信源和持续信源，另首先分为无记忆信源和有记忆信源。 消息中所包含的不确定性的成分才是信息，因此，不确定性的成分越大，或者说出现的概率越小，信息量就越大。 离散信源输出 xi 所包含的信息量用 I(xi)来表达并将其称为 xi 的自信息量，xi 的自信息量的定义式为：I(x ) = -log 2 p(xi )自信息量的性质：① I(xi)是随机量；② I(xi)是非负值；③ I(xi)是 p(xi)的单调递减函数。必然发生的事件不存在任何不确定性，故不具有任何信息量。联合自信息量：I(xi yj) = - log2 p(xi yj) 条件自信息量:I(xi/yj) = -log2 p(xi/yj ) 在已知 yj 的条件下，发生 xi 所带来的信息量。I(yj/xi) = -log2 p(yj/xi ) 在已知 xi 的条件下，发生 yj 所带来的信息量。联合自信息量与条件自信息量关系：I(xi yj)=I(xi/yj)+I(yj)=I(yj/xi)+I(xi)自信息量反应的是一种随机事件出现某种成果所包含的信息量，自信息量具有随机变量的性质。单符号离散信源的信息熵：将离散信源所有自信息量的数学期望用 H(X)来表达并称其为信源的信息熵，也叫香农熵，信息熵的定义为：H(X)= E[I(xi)]= p(xi)I(xi)= -p(xi)log2 p(xi)信息熵的单位是比特/符号(bit/symbol)。信息熵是从整体出发对一种离散信源信息量的度量。H(X)反应信源每发出一条消息所提供的平均信息量，不反应信源发出某条特定消息的信息量一般状况下，H(X)不等于每接受一条消息所获得的平均信息量。信息熵 H(X)的性质和定理：①非负性；②严格上凸性；lnx≤x- 1③ 最大信息熵定理 H(X)≤log2 n lnx≤x- 1 单符号离散信源中各消息等概率出现时，具有最大熵；④对称性 H(X)=H[p(x1),p(x2)…,p(xn)]= -p(xi)log2 p(xi)与信源的总体构造有关而不在意个别消息的概率，与消息的取值无关；⑤确定性：H(0,1)=0；⑥扩展性⑦ 可加性 H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) N 维信息熵的链式法则；⑧极值性 H(X/Y)≤H(X);H(Y/X)≤H(Y)假如信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。假如信源每次发出的消息...