随机过程连续时间的马尔可夫链

第五章连续时间的马尔可夫链5.1 连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({ttX定义 5.1 设随机过程}.0),({ttX,状态空间}0,{niIn,若对任意121...0nttt及Iiiin 121,...,,有})(,...)(,)()({221111nnnnitXitXitXitXP=})()({11nnnnitXitXP(5.1) 则称}.0),({ttX为连续时间马尔可夫链 . 由定义知 ,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻nt 及一切过去时刻所处状态的条件下,将来时刻1nt的状态只依赖于现在状态而与过去无关 . 记(5.1)式条件概率一般形式为),(})()({tspisXjtsXPij(5.2) 它表示系统在 s 时刻处于状态 i,经过时间 t 后转移到状态 j 的转移概率 . 定义 5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率 ,此时转移概率简记为),(),(tptspijij其转移概率矩阵简记为).0,,()),(()(tIjitptPij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程 . 假设在某时刻 ,比如说时刻 0,马尔可夫链进入状态i,而且接下来的 s个单位时间单位中过程未离开状态i,(即未发生转移 ),问随后的 t 个单位时间中过程仍不离开状态 i 的概率是多少呢 ?由马尔可夫我们知道 ,过程在时刻 s 处于状态 i 条件下 ,在区间 [s,s+t]中仍然处于 i 的概率正是它处于i 至少 t 个单位的无条件概率 ..若记ih 为记过程在转移到另一个状态之前停留在状态i 的时间 ,则对一切 s,t0 有},{}{thPshtshPiii可见 ,随机变量ih 具有无记忆性 ,因此ih 服从指数分布 . 由此可见 ,一个连续时间马尔可夫链,每当它进入状态 i,具有如下性质 : (1) 在转移到另一状态之前处于状态i 的时间服从参数为iv 的指数分布 ; (2) 当过程离开状态 i 时,接着以概率ijp 进行状态 j,1ijijp. 上述性质也是我们构造连续时间马尔可夫链的一种方法. 当iv时 ,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0iv时,称状态 i 为吸收状态 ,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, iv0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布 .此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量 .因此...