百度文库-让每个人平等地提升自我1第三章习题1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为p，乙胜的概率为q，平局的概率为r，其中,,0,1pqrpqr，设每局比赛后，胜者得1分，负者得1分，平局不记分，当两个人中有一个人得到2分时比赛结束，以nX表示比赛至第n局时甲获得的分数，则{,1}nXn是一齐冯马尔可夫链.（1）写出状态空间；（2）求一步转移概率矩阵；（3）求在甲获得1分的情况下，再赛2局甲胜的概率.解（1）{,0}nXn的状态空间为{2,1,0,1,2}S（2）{,0}nXn的一步转移概率矩阵为1000000000000001qrpqrpqrpP（3）因为两步转移概率矩阵为22(2)22222210000202220200001qrqrpqprpqrqrpqprpqqrpqrpprPP所以在甲获得1分的情况下，再赛2局甲胜的概率为(2)12(1)ppprpr2．设{,1,2,}iYi为相互独立的随机变量序列，则（1）{,1,2,}iYi是否为Markov链？（2）令1nniiXY，问{,1,2,}iXi是否为Markov链？解（1）由于百度文库-让每个人平等地提升自我211221112211122111221111221(,,,,)(,,,)(,,,)()()()()()()(,,,)nnnnnnnnnnnPYiYiYiYjPYjYiYiYiPYiYiYiPYiPYiPYiPYjPYjPYjYiPYiYiYi因此，{,1,2,}nYn是马尔可夫链.（2）取1111()fUXU，当11Ui时，212XUU是2U的函数，记为22().fU依次类推，1121nnXUUU为1nU的函数，记为1112(),nnnnfUXUUU为nU的函数，记为().nnfU由于12,,,,nUUU相互独立，则其相应的函数1122(),(),,(),nnfUfUfU也相互独立，从而122111221111112211(,,,)(,,,)(,,,)()()nnnininnnnnnPXjXiXiXiPYjXiXiXiPXYjXiXiXiPYjiPXjXi因此{,1,2,}nXn是马尔可夫链.3设,1,2,iXi是相互独立的随机变量，且使得(),0,1,ijPXjaj，如果max{,1,2,,1}niXXin，其中0X，就称在时刻n产生了一个记录.若在时刻n产生了一个记录，就称nX为记录值，以nR表示第n个记录值.（1）证明，{,1,2,}nRn是Markov链，并求其转移概率；（2）以iT表示第i个与第1i记录之间的时间，问{,1,2,}nTn是否是Markov链，若是，则计算其转移概率.证明：（a）根据题意有：knknnXRXRXR,....,2121，⋯⋯满足........21knnnXXX且........121knnn故},...,|{11111iRiRiRzRPkkkkk}...|{111iiijzRPkkk}|{1kkijzRP}|{1kkkiRzRP故}1,{iRi是一个马尔可夫链且百度文库-让每个人平等地提升自我3ijijaiXzXPiRzRPjknnkkkkk,0,}|{}|{11（由于iX的独立性）（b）记iT为第i个记录与第1i个记录之间的时间，iT是相互独立的随机变量，因为{}iPTt}1...,2,1,,|{k1tkiXiXRzXRPiiinnitni且}{1zXRPtnii=ijijaj,0,（由于iX的独立性）故{iT，1i}是一个马尔可夫链令(,),1iiiZRTi则111,,,iiiPZZZZ⋯111111(,)(,),(,),,(,)iiiiiiPRtRtRtRt⋯1111112111111211(,)(,),(,),,(,),(,)iiittittittittPXtXtXtXtXt⋯+?+?+⋯111111(,)(,)iittittiPXtXt⋯+?+111111(,)(,)iittittiPXztXit⋯+?+,0,jjiji故,(),1iiRTi是一个马尔可夫链。4考虑一个具有状态0,1,2,的Markov链，其转移概率满足,1,11iiiiippp，其中01p，请找出为了使该Markov链正常返，所有的ip所应该满足的充要条件，并计算其在这种情况下的转移概率.解：根据题意知，要满足马尔可夫链为正常返约，当且仅当jiyiPj=0，1，2...有一组解j>0,1jj百度文库-让每个人平等地提升自我4根据,1,11iiiiiPPP，方程可重写为011q1111,1iiiiiPqi则11,0iiiiqPi因此01011....,0....iiiPPiqq从而，随机游动为正常返约的充要条件是0011........iiiPPqq5捕捉苍蝇的一只蜘蛛依循一个Markov链在位置1，2之间移动，其初始位置是1，转移矩阵为0.70.30.30.7，未觉察到蜘蛛的苍蝇的初始位置是2，并依照转移矩阵为0.40.60.60.4的Markov链移动，只要它们在同一个位置相遇，蜘蛛就会捉住苍蝇而结束捕捉.（1）证明：在捕捉的过程中，除非知道它结束的位置，否则都必须用三个状态的Markov链来描述，其中一个是吸收状态，表示结束捕捉，另外两个代表蜘蛛与苍蝇处在不同位置，对此求转移矩阵；（2）求在时刻n蜘蛛与苍蝇都处在各自初始位置的概率；（3）求捕捉过程的平均持续时间.证明：捕捉过程中，除非知道它结束时的位置，可用三个状态的马尔可夫链来描述，其中一个是吸收状态代表捕捉结束，而另外的两个代表植蜘蛛与苍蝇处在不同的位置，对此链求转移概率矩阵。...
