马尔可夫链的平稳分布

一个平稳分布的马尔可夫链是随时间推移在马尔可夫链中保持不变的概率分布。通常，它被表示为行向量 $\π$哪个条目的概率总和是 $1$,鉴于转移矩阵 $\ textbf {P}$,它满足

$\pi = \pi \textbf{P}。$

换句话说, $\π$是不变的的矩阵 $\ textbf {P}$。

各态历经的马尔可夫链有一个独特的平稳分布，并且吸收马尔可夫链只在吸收态具有非零元素的平稳分布。平稳分布给出了关于稳定在某些情况下，描述了马尔可夫链的极限行为。

一位体育播音员希望预测有多少密歇根居民更喜欢密歇根大学(University of Michigan，简称“Michigan”)的球队，又有多少人更喜欢密歇根州立大学(Michigan State)的球队。她注意到，年复一年，大多数人都会选择自己喜欢的团队;然而,对于 $3 \$很多密歇根的球迷转投了密歇根州立大学 $5 \$密歇根州的球迷转到了密歇根州。然而，该州1000万人口的偏好总体上没有明显差异;换句话说，密歇根的体育迷似乎已经达到了一个固定的分布。那是什么呢?

---

解决这个问题的一个合理的方法是假设有 $x$百万密歇根球迷 $y$一百万密歇根州球迷。这个州的人口是 $10$百万,所以 $X + y = 10$。这些数字每年都不会改变。由此可见, ${begin{align} x &= 0.97x + 0.05y \\ y &= 0.03x + 0.95y。结束\{对齐}$重新安排要么方程, $X = 0$。自 $X + y = 10$， $Y = tfrac{3}{8} \cdot 10 = 3.75$和 $x = 6.25$。所以有 $6.25$百万密歇根球迷 $3．75$一百万密歇根州球迷。也就是说，平稳分布是 $\ (0.625, 0.375)$。 $_ \广场$

请注意，限制分布并不取决于球迷的数量在州!

的学生线性代数可以注意到方程 $\pi \textbf{P} = \pi$和列向量方程很相似 $M v = v$为特征值和特征向量, $\λ= 1$。实际上，通过转置矩阵， $左(\ \π\ textbf P{} \右)^ T = \π^ T \意味着\ textbf {P} ^ T \π^ T = \π^ T。$换句话说就是转置的转移矩阵 $\ textbf {P} ^ T$特征向量有特征值吗 $1$用列向量表示的平稳分布。因此，如果特征向量 $\ textbf {P} ^ T$是已知的，那么带转移矩阵的马尔可夫链的平稳分布也是已知的吗 $\ textbf {P}$。简而言之，平稳分布是转移矩阵的一个左特征向量(与通常的右特征向量相反)。

当有多个特征向量与1的特征值相关联时，每个这样的特征向量都产生一个相关联的平稳分布。然而，这只会发生在马尔可夫链是可约的情况下，即有多个通信类。

在遗传学上，识别显性性状的一种方法是将一个样本与一个已知的杂种配对。它们的后代再次与已知的杂交后代配对，以此类推。这样，某一特定后代在某一性状上是纯显性、纯隐性或杂种的概率如下表所示。

州	孩子占主导地位	孩子混合	儿童隐性
父母主导	$0.5 \水平间距}{1厘米$	$0.5 \水平间距}{1厘米$	$} \水平间距{1厘米0$
父母混合	$0.25 \水平间距}{1厘米$	$0.5 \水平间距}{1厘米$	$0.25 \水平间距}{1厘米$
父母隐性	$} \水平间距{1厘米0$	$0.5 \水平间距}{1厘米$	$0.5 \水平间距}{1厘米$

马尔可夫链的平稳分布是什么?

---

转移矩阵为 $\textbf{P} = begin{pmatrix} 0.5 & 0.5 & 0 \\ 0.25 & 0.5 & 0.25 \\ 0 & 0.5 & 0.5 \end{pmatrix}。$这个矩阵的转置具有满足这个方程的特征值 $\det \begin{pmatrix} 0.5 - \lambda & 0.25 & 0 \\ 0.5 & 0.5 - \lambda & 0.5 \\ 0 & 0.25 & 0.5 - \lambda \end{pmatrix} = 0$由此可见, $(0.5 - \λ)^ 3 - 0.125(0.5 - \λ)- 0.125(0.5 - \λ)=(0.5 - \λ)(\λ^ 2 - \λ)= 0$。特征值是 $\λ= 0$， $\λ= 0.5$, $\λ= 1$。特征值 $\λ= 0$得到特征向量 $\ \(1日,2日,1)$的特征值 $\λ= 0.5$得到特征向量 $(0 1 \ \ 1)$，和特征值 $\λ= 1$得到特征向量 $\ \(1日,2日,1)$。平稳分布的唯一可能候选是最终特征向量，因为其他所有特征向量都包含负值。

那么，平稳分布一定是 $\ tfrac {1} {1 + 2 + 1} \ cdot(2 1 \ \ 1) = \离开(\ tfrac {1}, {4} \ \ tfrac {1} {2},, \ \ tfrac{1}{4} \右)$。 $_ \广场$

的极限分布马尔可夫链的概念试图描述过程的行为长时间后。为了使它存在，下列极限对于任何状态都必须存在 $我$和 $j$： $L_ {i, j} = \ lim_ {n \ \ infty} \ mathbb {P} (X_n = j \ X_0 =我中期)。$此外，对于任何国家来说 $我$，下面的和必须是 $1$： $\ sum_{\文本{州}j} \ lim_ {n \ \ infty} \ mathbb {P} (X_n = j \中期X_0 = i) = 1。$这确保了所获得的数字实际上构成了一个概率分布。如果满足这两个条件，则有 $从=我$概率分布是 $\ell = left(L_{i,j}\right)_{text{states}j}$。

对于任何非周期且不可约的时齐次马尔可夫链， $\lim_{n \to \infty} \textbf{P}^n$收敛到所有行相等的矩阵 $\π$。然而，并非所有的平稳分布都是这样产生的。某些平稳分布(例如，某些周期性分布)只满足较弱的平均数条件 $\ tfrac {1} {n + 1} \ cdot H_i ^ {(n)}$过程处于状态的时间 $我$在第一个 $n$步骤逼近平稳分布对应的值。也就是说,如果 $(x_1， \， x_2， \， \导，\，x_m)$那么，是平稳分布吗 $\lim_{n \to \infty} \frac{H_i^{(n)}}{n+1} = x_i。$

不是所有的平稳分布都是极限分布。

---

考虑带转移矩阵的双状态马尔可夫链 $\textbf{P} = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}。$作为 $n$增加，没有限制的行为 $\ textbf {P} ^ n$。实际上，表达式只是在求值和 $P$和 $我$，单位矩阵。但系统具有平稳分布 $\离开(\ tfrac {1} {2}, \ \ tfrac{1}{2} \右)$,因为 $\离开(\ tfrac {1} {2}, \ \ tfrac {1} {2} \) \ cdot \ {pmatrix}开始0和1 \ \ 1和0 \ {pmatrix} =结束\离开(\ tfrac {1}, {2}, \ \ tfrac{1}{2} \右)。$不是所有的平稳分布都是极限分布。有时不存在限制分布! $_ \广场$

对于时齐次马尔可夫链，任何极限分布都是平稳分布。

---

设马尔可夫链有转移矩阵 $\ textbf {P}$。然后,假设 $\lim_{n \to \infty} \textbf{P}^n = \begin{pmatrix} 1 \\ 1 \\ vdots \\ 1 \end{pmatrix} \pi。$也就是说，极限是an $n \ n$矩阵的所有行都等于 $\π$。然后注意 $\begin{aligned} \lim_{n \to \infty} \textbf{P}^n \cdot \textbf{P} &= begin{pmatrix} 1 \\ 1 \\ vdots \ 1 \end{pmatrix} pi \textbf{P} \ n \to \infty} \textbf{P}^{n+1} &= begin{pmatrix} 1 \\ 1 \vdots \ 1 \end{pmatrix} pi。结束\{对齐}$检查左边矩阵的一行在右边相乘，很明显 $\pi \textbf{P} = \pi$。因此，极限分布也是一个平稳分布。 $_ \广场$

• 矩阵
• 特征值和特征向量
• 马尔可夫链
• 各态历经的马尔可夫链