如果连锁店有
t瞬态状态和
年代吸收,转移矩阵
P对于时间齐次吸收马尔可夫链,则可写成
P=(问0R我年代),在哪里
问是一个
t×t矩阵,
R是一个
t×年代矩阵,
0是
年代×t零矩阵,
我年代是
年代×年代单位矩阵。
一个吸引人的马尔可夫链的简单例子是醉汉的行走长度
n+2.在醉汉的行走中,醉汉在其中
n他们家和酒吧之间的十字路口。酒鬼想回家,但一旦他们到达酒吧(或房子),他们就会永远呆在那里。然而,在这条路上的每个路口,都有一个概率
p,通常是
21,醉酒的人会变得迷惑,失去方向感,回到前面的十字路口。
一个醉汉的散步
n=3.而且
p=21
把Pub作为
4th州和家是
5th状态,转换矩阵是
⎝⎜⎜⎜⎜⎛0210002102100021000210010002101⎠⎟⎟⎟⎟⎞.由此可见,
问=⎝⎛0210210210210⎠⎞而且R=⎝⎛21000021⎠⎞.
这种转换矩阵的分解使许多马尔可夫链的计算变得简单。特别是基本矩阵
N=(我t−问)−1包含很多信息。请注意
N=(我t−问)−1=k=0∑∞问k,所以
N我,j=概率(X0=j∣X0=我)+概率(X1=j∣X0=我)+概率(X2=j∣X0=我)+...=E(的次数j访问∣X0=我).
它从线性的期望从国家开始
我时,进入吸收态前的期望步数由
我th列向量的分量
N1.
此外,被状态吸收的概率
j在启动状态后
我由
(我,j)th条目的
t×年代矩阵
米=NR,
米我,j=k=1∑t概率(Xt+1=j∣Xt=k)E(的次数k访问∣X0=我).
醉汉从十字路口出发的概率是多少
1或
2在上面的例子中?
请注意
N=(我−问)−1=⎝⎛1−210−211−210−211⎠⎞−1=⎝⎛23.12112121123.⎠⎞.然后,
米=⎝⎛23.12112121123.⎠⎞⎝⎛21000021⎠⎞=⎝⎛43.2141412143.⎠⎞.醉汉有概率
41从十字路口回家
1和概率
21从十字路口回家
2.