马尔可夫链模型 在考察随机因素影响的动态系统时，常常碰到这样的情况，系统在每个时期所处的状态是随机的，从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各时期的状态无关。这种性质称为无后效性或马尔可夫性。通俗的说就是已知现在，将来与历史无关。 具有马氏性的，时间、状态无为离散的随机转移过程通常用马氏链(Markov Chain)模型描述。 马氏链模型在经济、社会、生态、遗传等许多领域中有着广泛的应用。值得提出的是，虽然它是解决随机转移过程的工具，但是一些确定性系统的状态转移问题也能用马氏链模型处理。 马氏链简介： 马氏链及其基本方程：按照系统的发展，时间离散化为0,1, 2,n ，对每个n ，系统的状态用随机变量nX 表示，设nX 可以取k 个离散值1, 2,,nXk，且nXi 的概率记作( )ian ，称为状态概率，从nXi 到1nXj 的概率记作ijp ，称为转移概率。如果1nX 的取值只取决于nX 的取值及转移概率，而与12,,nnXX 的取值无关，那么这种离散状态按照离散时间的随机转移过程称为马氏链。 由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为 1(1)( )1, 2,,kijijjananpik 并且( )ian 和ijp 应满足 11( )10,1, 2,;0;11, 2,,kkjijijjjannppik 引入状态概率向量和转移概率矩阵 12( )(( ),( ),,( )){}kijka nanananPp 则基本方程可以表为1(1)( )(0)na na n PaP 例1：某商店每月考察一次经营情况，其结果用经营状况好与孬表示。若本月经营状况好，则下月保持好的概率为0.5，若本月经营状况不好，则下月保持好的概率为0.4，试分析该商店若干时间后的经营状况。 解：商店的经营状况是随机的，每月转变一次。用随机变量nX表示第n 个月的经营状况，称为经营系统的状态.1, 2nX分别表示好与不好，0,1,n 。用( )ian 表示第n 月处于状态i 的概率（1, 2i ）即( )()inanP Xi，ijp 表示本月处于状态i ，下月转为状态j 的概率。这里1nX 无后效性，只取决于nX 和ijp 。112112220.5,0.4,0.5,0.6pppp 根据全概率公式可以得到： 11112212112222(1)( )( )0.50.5(1)( )(1)( )( )0.40.6anan pan pa na n PPanan pan p 假设这个递推公式存在极限w ，有ww...
