各态历经的马尔可夫链

为 $p < \ tfrac {1} {2}$而且 $Q = 1 - p$，具有反射的随机游走是一个遍历马尔可夫链一个马尔可夫链这是非周期的积极的复发被称为遍历。各态历经的马尔可夫链在某种意义上，是流程用“最好的”行为。

遍历马尔可夫链是非周期马尔可夫链，它的所有状态都是正的周期性的。

不可约马尔可夫链具有平稳分布当且仅当马尔可夫链是遍历的。如果马尔可夫链是遍历的，则平稳分布是唯一的。

让 $X$是一个有状态的遍历马尔可夫链 $1， \， 2， \dots， \， n$和平稳分布 $(x_1， \， x_2， \dots， \， x_n)$．如果过程在状态开始 $k$，即预期的步数 $E_k$回到状态 $k$是 $xk E_k = \ dfrac {1} {}$．

通过将遍历马尔可夫链建模为，可以计算出许多概率和期望值吸收马尔可夫链只有一个吸收态。通过将遍历马尔可夫链中的一个状态变为吸收状态，该链立即成为吸收状态，因为遍历马尔可夫链是不可约的(因此所有状态都与吸收状态相连)。

• 马尔可夫链
• 平稳分布
• 无常和复发