北京邮电大学信息论实验·第五次实验北京邮电大学信息论实验一、实验内容实验输入信源：二元序列{0,1}，概率分别为0.2和0.8给定参数：,，分别为0.04和0.3计算N0202N注：红色的参数可变仿真验证：产生长度为N的序列，N>N0判断典型序列：},,1,:{qipNNxii计算非典型序列占总序列的比例，绘制这个比例随N变化的情况。改变概率分布，讨论概率分布对典型序列的影响。二、实验原理1、典型序列和非典型序列对于一个离散无记忆信源，任意给定ε>0，δ>0，使得长度N>N0的序列都可以分为两组，其中一组|1Nlogp(⃗x)+H(X)|<δ称之为典型序列，另一组出现的概率和小于ε。2、典型序列的概率估计当δ足够小时，每个典型序列的概率p(x)接近2−NH(X)，其偏差不大于2Nδ；此时序列的长度需要很大。估计典型序列的个数：1北京邮电大学信息论实验[()][()](1)22NHXNHXGN3、渐进均分特性当εδ取值很小时（N要求很大），对于典型序列：，)(2XNHGN)(2)(XNHxp⃗这意味着当N足够大时，（1）典型序列接近等概率2−NH(X)，数目近似于2NH(X)（2）非典型序列出现的概率接近为零（3）1log()()pxHXN，以概率收敛三、实验步骤1、实验流程2北京邮电大学信息论实验其中，p为0、1序列的初始分布概率，N为模拟的信源序列长度。2、关键代码分析（1）求自信息方差var1=p(1)*(log2(p(1))^2)+p(2)*(log2(p(2))^2)-(-p(2)*log2(p(2))-p(1)*log2(p(1)))^2;这个式子利用的是如下公式：Var=E[log2(p(x))2]−H(X)2式子中p(1),p(2)代表0和1的概率。（2）判断是否是非典型序列abs(length(find(SIGNAL(i,:)==1))/N-p(2))>=ksi这行代码是利用了如下公式进行判断：3北京邮电大学信息论实验},,1,:{qipNNxii先统计出元素1的下表，再统计其个数，计算频率后于原概率作比较即可判断是否是非典型序列。四、实验结果（1）概率分布为0.2、0.8时①理论计算结果概率分布N00.2、0.8177．7778这个结果表明，当0、1序列服从概率（0.2、0.8）的分布时，信源序列长度要达到177.7778才可以达到要求，非典型序列出现的概率小于0.04。②仿真结果从图中我们可以看出，当序列长度上升时，非典型序列出现的概率逐渐变小，当达到177附近时，非典型序列出现的概率已经趋向于0，符合题目所给的要求，验证了信源序列的分组定理。（2）改变概率分布时我们取了以下五组概率拟合符合0和符号1（0.1、0.9；0.2、0.8；0.3、0.7；0.4、0.6；0.5、0.5），使用与上一个实验完全相同的方法仿真，得到了下面的曲线。曲线中，横坐标为N的大小，纵坐标为非典型序列出现的概率。4北京邮电大学信息论实验从图中，我们可以看出随着概率趋向于等概分布，序列长度N的增加越容易使得非典型序列的概率下降，即曲线的趋近于0的点会更加靠左。这是由于，由于No大小与自信息的方差成正比，当趋向于等概分布时，自信息的方差逐渐变小，这使得No变小。五、实验中遇到的问题本次实验中，遇到的最大的问题就是，在上一个版本的题目中，要求随机选择两个具体典型序列，在典型序列中所占的比例，绘制这个比例随N变化的情况。这个题目是没有办法做的，因为N0的理论值已经是177，而典型序列出现的概率为2−NH(X)，这是一个非常小的数，大概需要上亿次的仿真运算，才可以得到一个较为稳定的解。在找到司中威老师反映这个问题后，老师将题目这一问取消了。六、实验感想经过本次实验，我进一步认识了《信息论基础》一书中对于定长码编码中“信源分组定理的理解”。认识到我们对信源做定长码编码，由于需要很长的信源码长才能编码，这对于编码器和缓冲器都是很大的挑战。通过对典型序列的仿真，我更加清晰的认识到了变长码编码的优越性。5
