马尔可夫链的平稳分布

一种平稳分布A.马尔可夫链条随着时间的推移，在马尔可夫链中保持不变的概率分布。通常，它被表示为行向量 $\π$谁的条目是概率总结 $1$，给予过渡矩阵 $\ textbf {P}$,它满足

$\ pi = \ pi \ textbf {p}。$

换句话说， $\π$是不变的的矩阵 $\ textbf {P}$．

各态历经的马尔可夫链有一个独特的静止分布，吸收马尔可夫链条仅具有非零元素的固定分布仅在吸收状态。静止分配提供有关的信息稳定在某些情况下，描述了马尔可夫链的极限行为。

一位体育播音员希望预测有多少密歇根居民更喜欢密歇根大学(University of Michigan，简称“Michigan”)的球队，又有多少人更喜欢密歇根州立大学(Michigan State)的球队。她注意到，年复一年，大多数人都会选择自己喜欢的团队;然而,对于 $3 \％$密歇根州球迷切换到密歇根州，以及 $5 \％$密歇根州的球迷转到了密歇根州。然而，该州1000万人口的偏好总体上没有明显差异;换句话说，密歇根的体育迷似乎已经达到了一个固定的分布。那是什么呢?

---

一种接近这个问题的合理方法是假设存在 $X$百万密歇根州球迷 $y$一百万密歇根州球迷。这个州的人口是 $10.$百万，所以 $x + y = 10$．这些数字每年都不会改变。它遵循 $\ begin {对齐} x＆= 0.97x + 0.05y \\ y＆ant = 0.03x + 0.95y。\结束{对齐}$重新排列方程， $x = \ tfrac {5} {3} y$．自从 $x + y = 10$那 $Y = tfrac{3}{8} \cdot 10 = 3.75$和 $x = 6.25$．所以有 $6.25$百万密歇根州球迷 $3.75$百万密歇根州粉丝。换句话说，静止分配是 $\ (0.625, 0.375)$． $_\正方形$

请注意，限制分布并不取决于球迷的数量在州!

学生线性代数可以注意到方程 $\pi \textbf{P} = \pi$和列向量方程很相似 $m v = \ lambda v$为了特征值和特征向量, $\ lambda = 1$．事实上，通过传递矩阵， $\左（\ pi \ textbf {p}右）^ t = \ pi ^ t \意味着\ textbf {p} ^ t \ pi ^ t = \ pi ^ t。$换句话说就是转置的转移矩阵 $\ textbf {P} ^ T$有特征值的特征向量 $1$这是作为列向量表示的静止分布。因此，如果特征向量的 $\ textbf {P} ^ T$是已知的，那么带转移矩阵的马尔可夫链的平稳分布也是已知的吗 $\ textbf {P}$．简而言之，静止分布是过渡矩阵的左特征向量（与通常的右特征向量）。

当存在与1的特征值相关联的多个特征向量时，每个这样的特征向量产生相关的固定分布。但是，这只能在马尔可夫链可降低时出现，即具有多个通信类。

在遗传学中，一种用于鉴定显性性状的一种方法是将样品与已知杂种配对。他们的后代再次与已知的混合动力车相配，等等。以这种方式，特定后代的概率纯粹是占主导地位的，纯粹的隐性或用于性状的杂种由下表给出。

状态	儿童占主导地位	儿童杂交	儿童隐性
父母主导	$\ hspace {1cm} 0.5$	$\ hspace {1cm} 0.5$	$\ hspace {1cm} 0$
父母混合	$\ hspace {1cm} 0.25$	$\ hspace {1cm} 0.5$	$\ hspace {1cm} 0.25$
家长隐性	$\ hspace {1cm} 0$	$\ hspace {1cm} 0.5$	$\ hspace {1cm} 0.5$

这个马尔可夫链是什么静止的分布？

---

过渡矩阵是 $\textbf{P} = begin{pmatrix} 0.5 & 0.5 & 0 \\ 0.25 & 0.5 & 0.25 \\ 0 & 0.5 & 0.5 \end{pmatrix}。$这个矩阵的转置具有满足这个方程的特征值 $\det \begin{pmatrix} 0.5 - \lambda & 0.25 & 0 \\ 0.5 & 0.5 - \lambda & 0.5 \\ 0 & 0.25 & 0.5 - \lambda \end{pmatrix} = 0$它遵循 $（0.5 - \ lambda）^ 3 - 0.125（0.5 - \ lambda） - 0.125（0.5 - \ lambda）=（0.5 - \ lambda）（\ lambda ^ 2 - \ lambda）= 0$．所以特征值是 $\ lambda = 0$那 $\ lambda = 0.5$, $\ lambda = 1$．特征值 $\ lambda = 0$引起特征向量 $\ \(1日,2日,1)$的特征值 $\ lambda = 0.5$引起特征向量 $（-1，\，0，\，1）$和特征值 $\ lambda = 1$引起特征向量 $（1，\，2，\，1）$．平稳分布的唯一可能候选是最终特征向量，因为其他所有特征向量都包含负值。

然后，静止分配必须是 $\ tfrac {1} {1 + 2 + 1} \ cdot(2 1 \ \ 1) = \离开(\ tfrac {1}, {4} \ \ tfrac {1} {2},, \ \ tfrac{1}{4} \右)$． $_\正方形$

这限制分布马尔可夫链的旨在描述过程如何表现长时间后。对于存在，任何状态都必须存在以下限制 $一世$和 $j$： $L_ {i, j} = \ lim_ {n \ \ infty} \ mathbb {P} (X_n = j \ X_0 =我中期)。$此外，对于任何州 $一世$，以下和必须是 $1$： $\ sum_{\文本{州}j} \ lim_ {n \ \ infty} \ mathbb {P} (X_n = j \中期X_0 = i) = 1。$这确保了所获得的数字实际上构成了概率分布。提供了这两个条件，然后是马尔可夫链的限制分布 $从=我$概率分布是 $\ell = left(L_{i,j}\right)_{text{states}j}$．

对于任何非周期且不可约的时齐次马尔可夫链， $\ lim_ {n \ to \ idty} \ textbf {p} ^ n$收敛到所有行相等的矩阵 $\π$．然而，并非所有静止的分布都会出现这种方式。一些静止分布（例如，某些周期性）只能满足平均数的较弱条件 $\ tfrac {1} {n + 1} \ cdot h_i ^ {（n）}$这个过程处于州的次数 $一世$在第一 $N$步骤接近静止分布的相应值。那是，如果 $(x_1， \， x_2， \， \导，\，x_m)$那么，是平稳分布吗 $\lim_{n \to \infty} \frac{H_i^{(n)}}{n+1} = x_i。$

并非所有静止的分布都是限制分布。

---

考虑两国马尔可夫链与过渡矩阵 $\ textbf {p} = \ begin {pmatrix} 0＆1 \\ 1＆0 \ end {pmatrix}。$作为 $N$增加，没有限制行为 $\ textbf {P} ^ n$．事实上，表达式只是在评估之间交替 $P.$和 $一世$，单位矩阵。但系统具有平稳分布 $\离开(\ tfrac {1} {2}, \ \ tfrac{1}{2} \右)$， 自从 $\ left（\ tfrac {1} {2}，\，\ tfrac {1} {2} \右）\ cdot \ begin {pmatrix} 0＆1 \\ 1＆0 \ neg {pmatrix} = \ left（\tfrac {1} {2}，\，\ tfrac {1} {2} \右）。$不是所有的平稳分布都是极限分布。有时不存在限制分布! $_\正方形$

对于时间 - 均匀的马尔可夫链，任何限制分布都是静止分布。

---

让马尔可夫链具有过渡矩阵 $\ textbf {P}$．然后，假设 $\ lim_ {n \ to \ idty} \ textbf {p} ^ n = \ begin {pmatrix} 1 \\ 1 \\ \ vdots \\ 1 \ neg {pmatrix} \ pi。$也就是说，极限是an $n \ times n$矩阵，所有行等于 $\π$．然后注意 $\ begin {对齐} \ lim_ {n \ to \ infty} \ textbf {p} ^ n \ cdot \ textbf {p}＆= \ begin {pmatrix} 1 \\ 1 \\ \ vdots \\ 1 \ neg {pmatrix} \ pi \ textbf {p} \\ \ lim_ {n \ to \ idty} \ textbf {p} ^ {n + 1}＆= \ begin {pmatrix} 1 \\ 1 \\ \ vdots \\ 1 \ END{pmatrix} \ pi。\结束{对齐}$检查左边矩阵的一行在右边相乘，很明显 $\pi \textbf{P} = \pi$．因此，限制分布也是静止分布。 $_\正方形$

• 矩阵
• 特征值和特征向量
• 马尔可夫链
• 各态历经的马尔可夫链