如果链条
t瞬态状态和
年代吸收,转移矩阵
P对于时齐次吸收马尔可夫链可以写成
P=(问0R我年代),在哪里
问是一个
t×t矩阵,
R是一个
t×年代矩阵,
0是
年代×t零矩阵,
我年代是
年代×年代单位矩阵。
引人入胜的马尔可夫链的一个简单例子是醉汉的长距离行走
n+2.在醉汉的散步中,醉汉是在
n在他们家和酒吧的路口。醉汉想回家,但一旦他们到了酒吧(或房子),他们就会永远呆在那里。然而,在路上的每个路口,都有一个概率
p,通常是
21醉汉会变得迷茫,失去方向感,回到从前的十字路口。
一个醉汉的散步
n=3.和
p=21
以酒吧为例
4th州和家是
5th状态,转移矩阵为
⎝⎜⎜⎜⎜⎛0210002102100021000210010002101⎠⎟⎟⎟⎟⎞.由此可见,
问=⎝⎛0210210210210⎠⎞和R=⎝⎛21000021⎠⎞.
许多关于马尔可夫链的计算通过转移矩阵的分解变得简单。特别是基本矩阵
N=(我t−问)−1包含大量的信息。请注意
N=(我t−问)−1=k=0∑∞问k,所以
N我,j=概率(X0=j∣X0=我)+概率(X1=j∣X0=我)+概率(X2=j∣X0=我)+...=E(的次数j访问∣X0=我).
它是从线性的期望从状态开始
我,在进入吸收状态之前的期望步骤数由
我th列向量的分量
N1.
此外,被状态吸收的概率
j启动后状态
我由此提供
(我,j)th条目的
t×年代矩阵
米=NR,
米我,j=k=1∑t概率(Xt+1=j∣Xt=k)E(的次数k访问∣X0=我).
从交叉口开始的概率是多少
1或
2在上面的例子中?
请注意
N=(我−问)−1=⎝⎛1−210−211−210−211⎠⎞−1=⎝⎛23.12112121123.⎠⎞.然后,
米=⎝⎛23.12112121123.⎠⎞⎝⎛21000021⎠⎞=⎝⎛43.2141412143.⎠⎞.所以酒鬼有概率
41从十字路口回家的几率
1和概率
21从十字路口回家的几率
2.