信源编码信源编码第第55章章前言前言•前面介绍了信源熵和信息率失真函数的概念，弄清了传送信源信息只需要具有信源极限熵或信息率失真函数大小的信息率。•但在实际通信系统中，用来传送信源信息的信息率远大于这些，那么能否达到或接近像信源熵或率失真函数这样的最小信息率呢，这就是编码定理要回答的问题之一。信道编码(离散和连续)信源编码编码无失真信源编码—第一极限定理离散信源限失真信源编码—第三极限定理连续信源第二极限定理信源编码在不失真或允许一定失真条件下,如何用尽可能少的符号来传送信源信息,以便提高信息传输率。信道编码在信道受干扰的情况下如何增加信号的抗干扰能力,同时又使得信息传输率最大。前言前言前言前言•信源编码:–将信源输出符号,经信源编码器后变换成另外的压缩符号,然后将压缩后信息经信道传送给信宿•信源符号之间存在分布不均匀和相关性,使得信源存在冗余度,信源编码的主要任务就是减少冗余,提高编码效率。•针对信源输出符号序列的统计特性,寻找一定的方法把信源输出符号序列变换为最短的码字序列。前言前言•信源编码的基本途径—使序列中的各个符号尽可能地相互独立，即解除相关性；—使编码中各个符号出现的概率尽可能地相等，即概率均匀化。•信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码定理，前者是可逆编码的基础。可逆是指当信源符号转换成代码后，可从代码无失真地恢复原信源符号。•当已知信源符号的概率特性时，可计算它的符号熵，这表示每个信源符号所载有的信息量。前言前言•编码定理证明了:–必存在一种编码方法,使代码的平均长度可任意接近但不能低于符号熵;–达到这目标的途径就是使概率与码长匹配。•统计匹配编码：–根据信源的不同概率分布而选用与之匹配的编码，以达到在系统中传信速率最小。前言前言•无失真编码或可逆编码只适用于离散信源。对于连续信源，编成代码后就无法无失真地恢复原来的连续值，因为后者的取值可有无限多个。此时只能根据率失真编码定理在失真受限制的情况下进行限失真编码。信源编码定理出现后，编码方法就趋于合理化。前言前言本章将讨论离散信源编码，首先从无失真编码定理出发，重点讨论以香农码、费诺码和哈夫曼码为代表的最佳无失真码。然后介绍限失真编码定理。最后简单介绍一些其它常用的信源编码方法。5.1编码的定义5.2无失真信源编码5.3限失真信源编码5.4常用信源编码方法简介内容内容5.15.1编码的定义编码的定义编码的定义编码的定义信源编码是指信源输出符号经信源编码器编码后转换成另外的压缩符号。无失真信源编码：可精确无失真地复制信源输出的消息。信源编码器码表信源信道XY图5-1信源编码器示意图编码的定义编码的定义将信源消息分成若干组，即符号序列xi，xi＝(xi1xi2…xil…xiL)，xilA={a1,a2,…,ai,…,an}每个符号序列xi依照固定码表映射成一个码字yi，yi＝(yi1yi2…yil…yiL)，yilB={b1,b2,…,bi,…,bm}这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。编码的定义编码的定义如图5-1所示，如果信源输出符号序列长度L＝1，信源符号集A(a1，a2，…，an)信源概率空间为)()()(2121nnapapapaaaPX需要将这样的信源符号传输。常用的一种信道就是二元信道，它的基本符号集为{0,1}。若将信源X通过二元信道传输，就必须把信源符号ai变换成由0,1符号组成的码符号序列，这个过程就是信源编码。编码的定义编码的定义信源符号信源符号出现概率码表码0码1码2码3码4a1p(a1)=1/2000011a2p(a2)=1/40111101001a3p(a3)=1/8100000100001a4p(a4)=1/811110110000001码的分类：•等长码(定长码)：码中所有码字的长度都相同，如上表中码0；•变长码：码中的码字长短不一，如上表中码1、2、3、4。•若码集为{0,1},所得码字为二元序列,称为二元码•例如,信源符号X＝{a1,a2,a3,a4},对应不同码字如表编码的定义编码的定义采用分组编码方法，需要分组码具有某些属性，以保证在接收端能够迅速准确地将码译出。分组码的属性：•非奇异码：信源符号与码字是一一对应的，码0；•奇异码：信源符...
