第六章 马尔可夫链VIP免费

Markov过程安德雷.安德耶维奇.马尔可夫(A.A.Markov):俄数学家，1856~1922概率和统计领域专家。当年Markov研究普希金诗歌里元音字母和辅音字母交替出现的规律时提出了Markov过程的数学模型Markov过程80年代兴起，在现代工程、自然科学、社会科学中应用广泛。25/2/10Markov过程1．马尔可夫性通俗地说，就是在知道过程现在的条件下，其将来的条件分布不依赖于过去，则称}),({TttX具有马尔可夫（Markov)性。定义设}),({TttX是一个随机过程，如果}),({TttX在t0时刻所处的状态为已知，它在时刻0tt所处状态的条件分布与其在t0之前所处的状态无关。0tt现在0tt将来0tt过去2.马尔可夫过程定义设}),({TttX的状态空间为S,122,,nntttT如果对(),,1,2,,1iiiXtxxSin在条件下)(ntX的条件分布函数恰好等于11()nnXtx在条件下的条件分布函数,即11221111(),(),,()(()((,))())nnnnnnnnnPXtxPXtxXtxXtxXtxXRtxx{(),}XttT马尔则称为可夫过程.3.马尔可夫链定义参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。注只讨论马尔可夫链的状态空间为有限或可列无限.则马尔可夫性可表示为12122,,,,,,nnntttTiiiS对11111122()(),((())(()()),),,nnnnnnnnnPXtiPXtixXtiXtiRXtiXti有25/2/107时间离散状态离散的马尔科夫链时间离散状态连续的马尔科夫序列时间连续状态连续的马尔科夫过程时间连续状态离散的马尔科夫过程Markov过程8/32第六章Markov链第一节基本概念第二节Markov链的状态分类及性质第三节极限定理及平稳分布第四节Markov链的应用9/32第六章Markov链第一节基本概念1.转移概率２.Chapman-kolmogorov方程3.Markov链的分布4.齐次Markov链５.Markov链举例1.转移概率定义设}0,{nXn是马尔可夫链,称条件概率{,0}nXnni(它表示系统在时处于状态的条件下经过k步转移,于n+k时到达状态j的条件概率).()()(,,,0,)1kijnknpnPXjXijSnik{,0}nXn为在n时的k步转移概率.()()kijipnj称以为第行底列元素的矩阵))(()()()(npnkijkP{,0}nXn为系统在n时的k步转移概率矩阵.第一节基本概念()()ijnpnP记为特别当k=1时，(1)()ijnpn为系统在时的一步转移概率,(1)(1)()(())ijnpnP为系统的一步转移概率矩阵()ijpn记为第一节基本概念1.转移概率定义称可数维的矩阵)(ijpP为随机矩阵，如果0,(,)1,()ijijjpijpi显然，}0,{nXn在n时的k步转移概率矩阵)()(nkP是一随机矩阵.特别k＝０时，约定(0)1,,,00ijijijpijSnij(0)()I.Pn此时为单位矩阵第一节基本概念1.转移概率２.Chapman-kolmogorov方程定理(C-K方程)()()()()()(),,,0,,kmkmijilljlpnpnpnknmkijS或矩阵形式)()()()()()(knnnmkmkPPP（解决了k步转移概率与一步转移概率间的关系）证明()(){)kmijnkmnpnPXjXi{,())nkmnlnkPXjliXX,){()nkmnnklPXjXliX,)()nkmnnlkPXjXiXl第一节基本概念２.Chapman-kolmogorov方程定理(C-K方程)()()()()()(),,,0,,kmkmijilljlpnpnpnknmkijS或矩阵形式)()()()()()(knnnmkmkPPP（解决了k步转移概率与一步转移概率间的关系）证明,)()nkmnnlkPXjXiXl第一节基本概念)(,)(nnkmnnnklkPXiPXjXXlXil)(()nnkmnknklPXiPllXXjX()()()()kmilljlpnpnk系统在n时从状态i的出发,经过k+m步转移,于n+k+m时到达状态j,可以先在n时从状态i出发，经过k步转移于n+k时到达某种中间状态l,再在n+k时从中间状态l出发经过m步转移于n+k+m时到达最终状态j,而中间状态l要取遍整个状态空间S.C-K方程的直观意义：２.Chapman-kolmogorov方程第一节基本概念若取m=1,则由C-K方程的矩阵形式:)()()()()()(knnnmkmkPPP得(1)()(1)()()()kknnnkPPP(1)()(1)()knnknkPPP()(1)(1)()nnnknkPPPP分量形式11212(1)()()(1)()kkkijijjjjjjjjpnpnpnpnk(,0)nk...