马尔可夫链的瞬态与递归

具有一个瞬态和两个循环态的马尔可夫链一个随机过程包含可能是短暂的或周期性的状态;短暂性和递归性描述了从某种状态开始的过程回到那个特定状态的可能性。有一些可能性(非零概率)，一个进程开始于瞬态状态永远不会回到那个状态。有一个保证，一个过程开始于复发性状态将回到那个状态。

短暂性和复发性问题是研究的中心马尔可夫链并帮助描述马尔可夫链的整体结构。许多暂态的存在可能表明马尔可夫链是吸收和一个强烈的形式的递归是必要的各态历经的马尔可夫链．

在马尔可夫链中，存在概率 $1$指最终(经过若干步骤)回到状态的 $x$．必须将预期的数量返回到州 $x$是无限的吗?

是的!

在马尔可夫链中，存在概率 $1$指最终(经过若干步骤)回到状态的 $x$．必须按预期的步骤数返回状态吗 $x$是有限的?

不!

直观地说，瞬态试图捕捉一个状态与整个马尔可夫链的“连接方式”。如果有可能离开这个状态，再也不回来，那么这个状态就完全没有联系，所以它被称为短暂的。除了关于回归概率的传统定义外，还有其他等效的暂态定义。

让 $\{X_0， \， X_1， \， \dots\}$是一个具有状态空间的马尔可夫链 $年代$．以下条件是等价的。

1. 一个国家 $我在年代\$是短暂的。
2. 让 $T_i = \text{min}\{n \ge 1 \mid X_n = i\}$．然后, $\mathbb{P}(T_i < \infty \mid X_0 = i) < 1。$
3. 下面的和收敛: $\displaystyle\sum_{n = 1}^\infty \mathbb{P}(X_n = i \mid X_0 = i) < \infty。$
4. $\mathbb{P}(X_n = i \text{for infinite many} n \mid X_0 = i) = 0。$

类似地，循环状态也有分类。

让 $\{X_0， \， X_1， \， \dots\}$是一个具有状态空间的马尔可夫链 $年代$．以下条件是等价的。

1. 一个国家 $我在年代\$是周期性的。
2. 让 $T_i = \text{min}\{n \ge 1 \mid X_n = i\}$．然后, $\mathbb{P}(T_i < \infty \mid X_0 = i) =1。$
3. 下面的和是发散的: $\displaystyle\sum_{n = 1}^\infty \mathbb{P}(X_n = i \mid X_0 = i) = \infty。$
4. $\mathbb{P}(X_n = i \text{for infinite many} n \mid X_0 = i) = 1。$

具有正循环态的非周期马尔可夫链

虽然循环状态具有这样的属性，即马尔可夫链可以无限次地返回到该状态，但在有限的步骤中，马尔可夫链并不一定会返回一次。这是不好的，因为很多关于递归的直觉都是假设它会发生的。为了解决这个问题，对递归状态进行了进一步的分类。

让 $T_i = \text{min}\{n \ge 1 \mid X_n = i\}$是第一次回到的时光 $我$．然后是期望值 $\mathbb{E}(T_i \mid X_0 = i)$是上面讨论的属性。

• 一个国家 $我$被称为积极的复发如果 $\mathbb{E}(T_i \mid X_0 = i) < \infty$．
• 一个国家 $我$被称为零复发如果 $\mathbb{E}(T_i \mid X_0 = i) = \infty$．

如果一个状态是周期性的，它就是正的循环。然而，如右图所示，存在大量只有正循环状态的非周期马尔可夫链。

下面是马尔可夫链的描述随机漫步反射为零。 $P + q = 1$

与 $p < \ tfrac {1} {2}$，马尔可夫链中的所有状态都是正循环的。与 $p = \ tfrac {1} {2}$，马尔可夫链中的所有状态都是零递归。与 $p > \ tfrac {1} {2}$，马尔可夫链中的所有状态都是瞬态的。

• 平稳分布
• 马尔可夫链
• 吸收马尔可夫链