第第77章章信息论方法信息论方法（一）（一）7.17.1信息论原理信息论原理7.27.2决策树方法决策树方法7.17.1信息论原理信息论原理信息论是信息论是C.E.ShannonC.E.Shannon为解决信息传递（通信）过程为解决信息传递（通信）过程问题而建立的理论，也称为统计通信理论。问题而建立的理论，也称为统计通信理论。1.1.信道模型信道模型一个传递信息的系统是由发送端（信源）和接收端（信宿一个传递信息的系统是由发送端（信源）和接收端（信宿）以及连接两者的通道（信道）三者组成。）以及连接两者的通道（信道）三者组成。信道u1,u2….ur信源Uv1,v2….vrP(V|U)信宿V在进行实际的通信之前，收信者（信宿）不可在进行实际的通信之前，收信者（信宿）不可能确切了解信源究竟会发出什么样的具体信息，能确切了解信源究竟会发出什么样的具体信息，不可能判断信源会处于什么样的状态。不可能判断信源会处于什么样的状态。这种情形就称为信宿对于信源状态具有不确定这种情形就称为信宿对于信源状态具有不确定性。而且这种不确定性是存在于通信之前的。因性。而且这种不确定性是存在于通信之前的。因而又叫做而又叫做先验不确定性先验不确定性，表示成，表示成信息熵信息熵HH（（UU））在进行了通信之后，信宿收到了信源发来的信息在进行了通信之后，信宿收到了信源发来的信息，这种先验不确定性才会被消除或者被减少。，这种先验不确定性才会被消除或者被减少。如果干扰很小，不会对传递的信息产生任何可察如果干扰很小，不会对传递的信息产生任何可察觉的影响，信源发出的信息能够被信宿全部收到觉的影响，信源发出的信息能够被信宿全部收到，在这种情况下，信宿的先验不确定性就会被完，在这种情况下，信宿的先验不确定性就会被完全消除。全消除。在一般情况下，干扰总会对信源发出的信息造成某种在一般情况下，干扰总会对信源发出的信息造成某种破坏，使信宿收到的信息不完全。破坏，使信宿收到的信息不完全。先验不确定性不能全部被消除，只能部分地消除。先验不确定性不能全部被消除，只能部分地消除。通信结束之后，信宿仍然具有一定程度的不确定性。通信结束之后，信宿仍然具有一定程度的不确定性。这就是这就是后验不确定性后验不确定性，用，用条件熵表示条件熵表示HH（（U/VU/V））。。后验不确定性总要小于先验不确定性后验不确定性总要小于先验不确定性::HH（（U/VU/V））
