文档可编辑P(R|A)=P ( 佝 PWA=$11©2«131第四章4.1 马尔可夫链的的概念及转移概率一、知识回忆二、马尔可夫链的的定义三、转移概率四、马尔可夫链的一些简单例子五、总结一、知识回忆1. 条件概率定义：设 A,B 为两个事件，且，称为事件 A 发生条件下 B 事件发生的条件概率。将条件概率公式移项即得到所谓的乘法公式:P(AB)=P(A)P(B|A)2. 全概率公式设试验 E 的样本空间为 S，A 为 E 的事件，假设''■■■■■-■为 S 的一个完备事件组，既满足条件：])•仁 I.匚’…•F.两两互不相容，即 i,，i1.■',■■■,■2).厲—「」川 0，且有 n 小.11..<■■■.■，则此式称为全概率公式。3. 矩阵乘法矩阵乘法的定义严 11B=p21如果='■小'■■-?'fi'r^zIC12=xb\2+xbz2+Xb^2Ql=«21Xf）n+a22Xhl+£123Xb：u文档可编辑C22=«21X 九+。22x^22+口23*^32那么矩阵 C 叫做矩阵 A 和 B 的乘积，记作「-•汕4.马尔可夫过程的分类马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：（1）时间、状态都是离散的马尔科夫过程，称为马尔可夫链；（2）时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的;（3）时间、状态都连续的马尔科夫过程。文档可编辑-、马尔科夫链的定义定义 4・1 设有随机过程假设对于任意的整数■■■■T 和任意的■'■■'I■■■■■|-■，条件概率都满足+1=Gt+11^0~1=ii,.^rXn=y'■iT-'.--(4.1.1)则称为马尔科夫链，简称马氏链。式(4.1.1 即为马氏链，他说明在状态」•：|1「：：d1；:「…"I】〕，•已知的条件下，•‘I：.「〔丨-■： 的条件概率与 M1I…H1「-I 无关，而仅与、；…所处的状态:,有关。式(4.1.1)是马尔科夫链的马氏性〔或无后效性〕的数学表达式。由定义知P(Xo==「必=g}•PfXo=ifljfl=H…爲一 1=in-]}\\\'■'.■'''I■'I.I;I-■■m 小口厂；；：可见，马尔科夫链的统计特性完全由条件概率珂禺十1=in 十11 禺=3所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。现举一例说明上述概念：例 4.1.1 箱中装有 C 个白球和 d 个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。现引进随机变量序列为:■:,每次取样试验的全部可能结果只有两个，即白文档可编辑球或黑球。假设以数代表白球，以数匚代表黑球则有苗、山 1，第】】次抽球结果为白球X(n)=la2,第 n 次抽球结果淘黑球由...
