电工胶布使用方法VIP免费

信息论与编码基础离散信道东莞电工培训http://www.px36.com/training-215.html信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道离散信道a、根据输入、输出信号的时间特性和取值特性离散信道连续信道半离散或半连续信道波形信道信息论与编码基础1、信道的分类数字信道b、根据输入集合与输出集合的个数单用户信道多用户信道一对多、多对一多对多信息论与编码基础离散信道c、根据信道转移概率的性质无噪信道有噪信道1、信道的分类实际的通信信道几乎都是有扰信道无记忆信道有记忆信道实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。d、按信道统计特性恒参信道变参信道卫星信道短波信道e、根据信道噪声的性质高斯噪声信道非高斯噪声信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道2、离散信道的数学模型信道X1212(,,...,):(,,...,)NirXXXXXaaaY1212(,,...,):(,,...,)NisYYYYYbbb(|)Pyx{,(|),}XPyxY无扰（无噪）信道有扰信道1,()(|)0,()yfxPyxyfx无记忆信道有记忆信道111(|)(...|...)(|)NNNiiiPyxPyyxxPyx信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道信道X12:(,,...,)rXaaaY12:(,,...,)sYbbb(|)Pyx3、单符号离散信道例1BSC信道BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码基础离散信道1）条件转移概率ijijijPabPaxbyPxyP)|()|()|(),...,2,1;,...,2,1(sjri2）转移矩阵rsrrssPPPPPPPPPP.............2122221112113）转移概率图),...2,1(10riPsjij3、单符号离散信道XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息论与编码基础离散信道一定比例的bit被删除，并且接收者知道是那些bit已经被删除。例2二进制删除信道3、单符号离散信道1001ppPqq信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道互信息)|(1log)(1logjiibaPaP);(jibaI自信息条件自信息1log()iPa1log(|)ijPab由于条件引入获得的信息量(|)(;)log()ijijiPabIabPa1）对称性I(ai;bj)=I(bj;ai)2）事件统计独立时I(ai;bj)=03）可正、可负4）I(ai;bj)≤I(ai)信息论与编码基础绪论表1－1（x，y）的联合概率分布x＝0x＝1y＝00.060.04y＝10.540.36练习：令随机变量x表示随机抽取人群中的性别，x＝0为男性，x＝1为女性。随机变量y表示随机抽取人是否抽烟，y＝0表示抽烟，y＝1表示不抽烟。（1）若（x，y）的联合概率分布如表1－1所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。（2）若（x，y）的联合概率分布如表1－2所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。表1－2（x，y）的联合概率分布x＝0x＝1y＝00.60.04y＝100.36信息论与编码基础离散信道1、信道疑义度XriiiaPaPxPxPXH1)(1log)()(log)()(先验熵rijijijbaPbaPbXH1)|(log)|()|(后验熵若信道中存在干扰时sjjjjbXHbPbXHEYXH1)|()()]|([)|(rijijisjjbaPbaPbP11)|(1log)|()(risjjijibaPbaP11)|(1log)(信道疑义度0≤H(X|Y)≤H(X)损失熵信息论与编码基础离散信道2、平均互信息定义3.2令)|()();(YXHXH...