信息论与编码-无失真信源编码第二章简单回顾第二章讨论的是信源。重点是信源的统计特性和数学模型，以及各类信源（离散无记忆单符号信源、离散有记忆单符号信源、连续信源、离散信源序列）的信息测度-熵及其性质，给出了自信息量、互信息量、熵、冗余度等的概念、定义、性质以及它们之间的关系。信息论与编码-无失真信源编码第三章无失真信源编码通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。信息论与编码-无失真信源编码一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各种通信系统的设计和估价具有重大的理论指导意义。信息论与编码-无失真信源编码§3.1编码的定义编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。图3.1是一个信源编码器，它的输入是信源符号，同时存在另一符号，一般来说，元素是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符},,,{21qsssS},,,{21rxxxXjx信息论与编码-无失真信源编码号（或者长为N的信源符号序列）变换成由组成的长度为的一一对应的序列。is),,2,1(rjxjil编码器},,,{:21qsssS},,,{:21rxxxX输出图3.1无失真信源编码器信息论与编码-无失真信源编码输出的码符号序列称为码字，长度称为码字长度或简称码长。可见，编码就是从信源符号到码符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。码符号的分类：下图是一个码分类图il信息论与编码-无失真信源编码即时码（非延长码）非即时码唯一可译码非唯一可译码非奇异码奇异码分组码非分组码码信息论与编码-无失真信源编码下面，我们给出这些码的定义。1.二元码若码符号集为，所有码字都是一些二元序列，则称为二元码。二元码是数字通信和计算机系统中最常用的一种码。2.等长码：若一组码中所有码字的码长都相同，即，则称为等长码。3.变长码：若一组码组中所有码字的码长各不相同，则称为变长码。}1,0{X),,2,1(qilli信息论与编码-无失真信源编码4.非奇异码：若一组码中所有码字都不相同，则称为非奇异码。5.奇异码：若一组码中有相同的码字，则称为奇异码。6.唯一可译码：若码的任意一串有限长的码符号序列只能唯一地被译成所对应的信源符号序列，则此码称为唯一可译码，否则就称为非唯一可译码。信息论与编码-无失真信源编码7.非即时码和即时码：如果接收端收到一个完整的码字后，不能立即译码，还要等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。如果收到一个完整的码字以后，就可以立即译码，则叫做即时码。即时码要求任何一个码字都不是其他码字的前缀部分，也叫做异前缀码。信息论与编码-无失真信源编码码树：即时码的一种简单构造方法是树图法。对给定码字的全体集合来说，可以用码树来描述它。所谓树，就是既有根、枝，又有节点，如图3.2所示，图中，最上端A为根节点，A、B、},,,{21qWWWCABCD000E11111010010001图3.2信息论与编码-无失真信源编码C、D、E皆为节点，E为终端节点。A、B、C、D为中间节点，中间节点不安排码字，而只在终端节点安排码字，每个终端节点所对应的码字就是从根节点出发到终端节点走过的路径上所对应的符号组成，如图3.2中的终端节点E，走过的路径为ABCDE，所对应的码符号分别为0、0、0、1，则E对应的码字为0001。可以看出...
