第1页共14页编号:时间:2021年x月x日书山有路勤为径,学海无涯苦作舟页码:第1页共14页1、熵对数据压缩编码的理论意义信源的熵是对该信源进行无失真编码的极限对信源进行无失真编码的最低码率就是该信源的熵如果对信源进行编码的码率小于信源的熵,则这种编码是有失真的2、例:某一信源X有四个符号,其出现概率为:则该信源的熵为:=1
75bit/符号平均码长L==1/2*1+1/4*2+1/8*3=1
75bit/符号3、启示1:只要信源不是等概率分布的,就存在无失真数据压缩的可能性
启示2:既然非负,严格上凸,且等概率时达到最大,任一pj=1时达到最小值0,那么我们可以通过某中变换T:,使中某一个符号发生的概率尽可能大()使其他的尽可能小(),这将有利于压缩,这就是变换编码的途径之一
4\研究在限定失真下为了恢复信源符号所必需的编码率,简称率失真理论
——表示输入为X,输出为Y时,整个系统所具有的不确定程度6、7、可见,只要允许误差存在,就可以减少编码输出的字符数,降低码率
输出字符数越少,译码误差失真就越大
8、则平均失真9、10、率失真函数是在允许失真为D的条件下,信源编码给出的平均互信息量的下界
——有失真时的信源编码的逆定理当编码码率R