马尔可夫链的瞬时性和递推性

具有一个瞬态和两个循环状态的马尔可夫链A.随机过程包含可能是暂时的或反复出现的状态；瞬时性和重复性描述了一个过程在某种状态下开始并返回到该特定状态的可能性。有一种可能性（非零概率）是一个进程在转瞬即逝的状态永远不会回到那种状态。有一个保证，一个过程在一个经常性状态将回到那种状态。

短暂性和复发性问题是疾病研究的核心马尔可夫链并帮助描述马尔可夫链的整体结构。许多瞬态的存在可能表明马尔可夫链是吸收，及强形式在一种情况下，复发的可能性是必要的遍历马尔可夫链.

在马尔可夫链中，存在概率 $1.$最终（经过一些步骤）返回状态 $x$. 必须返回到状态的预期次数 $x$无限大？

对

在马尔可夫链中，存在概率 $1.$最终（经过一些步骤）返回状态 $x$. 必须达到返回状态的预期步骤数 $x$是有限的吗？

不

直观地说，瞬态试图捕捉一个状态与整个马尔可夫链的“连接”程度。如果有可能离开该状态而不再返回，则该状态根本不是非常连通的，因此称为瞬态。除了关于返回概率的传统定义外，还有瞬态的其他等效定义。

让 $\{X_0，\，X_1，\，\dots\}$是一个具有状态空间的马尔可夫链 $s$. 以下条件是等效的。

1. 州 $我在S$这是暂时的。
2. 让 $T_i=\text{min}\{n\ge 1\mid X_n=i\}$. 那么， $\mathbb{P}（T_i<\infty\mid X_0=i）<1。$
3. 以下总和收敛： $\displaystyle\sum{n=1}^\infty\mathbb{P}（X_n=i\mid X_0=i）<\infty。$
4. $\mathbb{P}（X_n=i\text{for无穷多}n\mid X_0=i）=0。$

同样，对于经常性状态也存在一种分类。

让 $\{X_0，\，X_1，\，\dots\}$是一个具有状态空间的马尔可夫链 $s$. 以下条件是等效的。

1. 州 $我在S$这是经常性的。
2. 让 $T_i=\text{min}\{n\ge 1\mid X_n=i\}$. 那么， $\mathbb{P}（T_i<\infty\mid X_0=i）=1。$
3. 以下总和出现偏差： $\displaystyle\sum{n=1}^\infty\mathbb{P}（X_n=i\mid X_0=i）=\infty。$
4. $\mathbb{P}（X_n=i\text{for无穷多}n\mid X_0=i）=1。$

具有正循环状态的非周期马氏链

虽然循环状态具有期望马尔可夫链返回状态无限次的特性，但不一定期望马尔可夫链在有限步数内返回一次。这是不好的，因为很多关于复发的直觉来自于假设它会复发。为了解决这个问题，我们对重现状态进行了进一步分类。

让 $T_i=\text{min}\{n\ge 1\mid X_n=i\}$是第一次返回的时间吗 $我$. 然后是期望值 $\mathbb{E}（T_i\mid X_0=i）$是上面讨论的属性。

• 州 $我$被称为正复发如果 $\mathbb{E}（T_i\mid X_0=i）<\infty$.
• 州 $我$被称为空循环如果 $\mathbb{E}（T_i\mid X_0=i）=\infty$.

如果一个状态是周期性的，那么它就是正循环的。然而，如右图所示，存在大量只有正循环状态的非周期马尔可夫链。

下面是一个马尔可夫链的描述，称为随机游走反射为零。 $p+q=1$

具有 $p<\tfrac{1}{2}$，马尔可夫链中的所有状态都是正循环的。具有 $p=\tfrac{1}{2}$，马尔可夫链中的所有状态都是空循环的。具有 $p>\tfrac{1}{2}$，马尔可夫链中的所有状态都是瞬态的。

• 平稳分布
• 马尔可夫链
• 吸收马尔可夫链