信息论课程设计样本

下载后可任意编辑《信息论与编码》实验报告 班级: 学号: 姓名: sweety信息与通信工程学院 信息工程系下载后可任意编辑目 录实验一 绘制信源熵函数曲线..............................4实验二 哈夫曼编解码....................................7实验三 离散信道容量...................................13下载后可任意编辑1实验一 绘制信源熵函数曲线一、 实验目的1. 掌握离散信源熵的原理和计算方法。2. 熟悉 matlab 软件的基本操作, 练习应用 matlab 软件进行信源熵函数曲线的绘制。3. 理解信源熵的物理意义, 并能从信源熵函数曲线图上进行解释其物理意义。二、 实验原理1. 离散信源相关的基本概念、 原理和计算公式产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。假定 X 是一个离散随机变量, 即它的取值范围 R={x1, x2, x3, …}是有限或可数的。设第 i 个变量 xi 发生的概率为pi=P{X=xi}。则: 定义一个随机事件的自信息量 I( xi) 为其对应的随机变量 xi出现概率对数的负值。即: I( xi) = -log2 p(xi)定义随机事件 X 的平均不确定度 H( X) 为离散随机变量 xi出现概率的数学期望, 即: 下载后可任意编辑单位为 比特/符号 或 比特/符号序列。平均不确定度 H( X) 的定义公式与热力学中熵的表示形式相同, 因此又把平均不确定度 H( X) 称为信源 X 的信源熵。 必须注意一下几点: a)某一信源, 不论它是否输出符号, 只有这些符号具有某些概率特性, 必有信源的熵值; 这熵值是在总体平均上才有意义, 因而是个确定值, 一般写成 H( X) , X 是指随机变量的整体( 包括概率分布) 。b) 信息量则只有当信源输出符号而被接收者收到后, 才有意义, 这就是给与信息者的信息度量, 这值本身也能够是随机量, 也能够与接收者的情况有关。c) 熵是在平均意义上来表征信源的总体特征的, 信源熵是表征信源的平均不确定度, 平均自信息量是消除信源不确定度时所需要的信息的量度, 即收到一个信源符号, 全部解除了这个符号的不确定度。或者说获得这么大的信息量后, 信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等, 但含义不同。d) 当某一符号 xi的概率 p(xi)为零时, p(xi)log p(xi) 在熵公式中无意义, 为此规定这时的 p(xi)log p(xi) 也为零。当信源 X 中只含有一个符号 x 时, 必有 p(x)=1, 此时信源熵 H( X) 为零。例 1-1, 设...