第五章《连续时间的马尔可夫链》 1 第五章 连续时间的马尔可夫链 第四章我们讨论了时间和状态都是离散的Markov 链，本章我们研究的是时间连续、状态离散的Markov 过程，即连续时间的Markov 链. 连续时间的Markov 链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov 链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立. 5 .1 连续时间马尔可夫链的基本概念 定义 5 .1 设随机过程{( ),0}X t t ，状态空间{ ,1}nIi n，若对任意的正整数1210nttt及任意的非负整数121, ,,ni iiI ，条件概率满足 111122()|( ),( ),,( )nnnnP X tiX ti X tiX ti 11()|( )nnnnP X tiX ti （5.1） 则称{( ),0}X t t 为连续时间的Markov 链. 由定义知，连续时间的Markov 链是具有 Markov 性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻nt 及一切过去时刻所处状态的条件下，将来时刻1nt 的状态只依赖于现在的状态而与过去的状态无关. 记(5.1)式条件概率的一般形式为 {()|( )}( , )ijP X stj X sips t （5.2） 它表示系统在 s 时刻处于状态i ，经过时间t 后在时刻 st 转移到状态j 的转移概率，通常称它为转移概率函数.一般地，它不仅与t 有关，还与 s 有关. 定义 5 .2 若(5.2)式的转移概率函数与 s 无关，则称连续时间Markov 链具有平稳的转移概率函数，称该 Markov 链为连续时间的齐次（或时齐）Markov 链. 此时转移概率函数简记为( , )( )ijijps tp t.相应地，转移概率矩阵简记为( )(( )),( ,,0)ijP tp ti jI t. 若状态空间{0,1,2,}I ，则有 000102101112012( )( )( )...( )( )( )( )( )............( )( )( )............ijnnnptptptptptptP tp tptptpt （5.3） 假设在某时刻，比如说时刻 0，Markov 链进入状态i ，在接下来的s 个单位时间内过程未离开状态i（即未发生转移），我们要讨论的问题是在随后的t 个单位时间中过程仍不离开状态i 的概率是多少？由 Markov 性知，过程在时刻 s 处于状态i 的条件下，在区间[ ,]s st第五章《连续时间的马尔...
