马尔可夫链

一种马尔可夫链条一个数学系统是根据某种状态从一种状态过渡到另一种状态吗概率规则。马尔可夫链的定义特征是不管如何这过程到达目前的国家，未来可能的国家是固定的。换句话说，转换到任何特定状态的概率仅依赖于电流状态和时间。这状态空间或者集合所有可能的状态，可以是任何东西：字母，数字，天气条件，棒球分数或库存表现。

马尔可夫链可能是由有限状态机,随机散步提供一个丰富的例子，说明它们在数学上的用处。它们广泛地出现在统计和信息理论在语境中被广泛使用经济学那博弈理论那排队(通信)理论那遗传学,金融．虽然可以讨论任意状态空间大小的马尔可夫链，但初始理论和大多数应用都集中在状态有限(或可数无限)的情况下。

马尔可夫链的许多用途需要熟练熟练矩阵方法。

马尔可夫链是随机过程，但它与一般随机过程不同，因为马尔可夫链必须“更少。”也就是说，未来行动的概率不依赖于导致当前状态的步骤。这被称为马尔可夫性质．马尔可夫链理论之所以重要，正是因为如此多的“日常”过程满足马尔可夫性质，但也有许多常见的随机性质不满足马尔可夫性质的例子。

常见的概率问题询问获得某种颜色球的概率是什么时候从一袋多色球的随机选择时选择。它也可能询问下一个球的概率是什么，等等。以这样的方式，随机过程开始以随机变量的颜色开始存在，并且它不满足马尔可夫属性。取决于滚珠被去除，后来获得某种颜色球的概率可能是彻底的。

同样的问题也有一个变体，即再次询问球的颜色，但它允许每次绘制球时进行替换。这再次为随机变量创造了一个带有颜色的随机过程。然而,这个过程做满足马尔可夫财产。你能弄清楚为什么？

在概率理论中，最直接的例子是一个time-homogeneous马尔可夫链，其中任何状态转移的概率与时间无关。这样的过程可以用标记指示来显示图形，其中任意顶点的出边的标号和为1。

在下面的图中描绘了在A和B上构建的（时间均匀）马尔可夫链。在2次移动之后，在B上开始的过程的可能性是什么？

---

为了从A移动到B，过程必须要么在第一次移动时停留在A上，然后在第二次移动到B上;或者在第一步移动到B，然后在第二步停留在B。根据图，概率是 $0.3 \cdot 0.7 + 0.7 \cdot 0.2 ={0.35}。$

或者，该过程将在2次移动之后的概率是 $0.3 \ CDOT 0.3 + 0.7 \ CDOT 0.8 = 0.65$．由于链中只有两个状态，如果它不在A上，则必须在B上，因此在2次移动之后，该过程将在B的概率上 $1 - 0.65 ={0.35}。$ $_\正方形$

用…的语言条件概率和随机变量，马尔可夫链是一个序列 $x0， \， X_1， \， X_2， \， \$满足条件独立规则的随机变量:

马尔可夫性质。

对于任何正整数 $N$和可能的国家 $i0， \， i_1， \， \导，\，i_n$随机变量，

$p（x_n = i_n \ mid x_ {n-1} = i_ {n-1}）= p（x_n = i_n \ mid x_0 = i_0，\，x_1 = i_1，\，\ dots，\，x_ {n-1} = i_ {n-1}）。$

换句话说，要确定当前状态的概率分布，只需要知道之前的状态。这个定义比上面讨论的更广泛，因为它允许非静止过渡概率因此time-inhomogeneous马尔可夫链;也就是说，随着时间的推移(步长增加)，从一种状态移动到另一种状态的概率可能会改变。

一种过渡矩阵 $P_T.$对马尔可夫链 $\{X\}$在时间 $T.$是一个矩阵包含状态之间转换概率的信息。特别是，给定一个矩阵的行和列的顺序由状态空间 $S.$， 这 $(我\ j) ^ \文本{th}$矩阵元素 $P_T.$是（谁）给的

$（p_t）_ {i，j} = \ mathbb {p}（x_ {t + 1} = j \ mid x_t = i）。$

这意味着矩阵的每一行都是a概率向量，它的条目总和是 $1$．

转换矩阵具有后续乘积的特性描述了沿着转换矩阵跨越的时间间隔的转换。也就是说， $P_0 \ cdot P_1$在它 $(我\ j) ^ \文本{th}$定位概率 $X_2 j =$考虑到 $从=我$．并且，一般来说， $(我\ j) ^ \文本{th}$的位置 $P_{t+1} \cdot \dots \cdot P_{t+k}$的概率是 $\ mathbb {p}（x_ {t + k + 1} = j \ mid x_t = i）$．

证明，对于任何自然数量 $T.$和国家 $i， \， j在S中$，矩阵项 $(P_t \ cdot P_ {t + 1}) _ {i, j} = \ mathbb {P}(间{t + 2} = j \ X_t =我中期)$．

---

表示 $M = P_t \cdot P_{t+1}$．通过矩阵乘法,

$\{对齐}开始M_ {i, j} & = \ sum_ {k = 1} ^ n (P_t) _ {i、k} (P_ {t + 1}) _ {k, j} \ \ & = \ sum_ {k = 1} ^ n \ mathbb {P}(间{t + 1} = k \ X_t =我中期)\ mathbb {P}(间{t + 2} = j \中期间{t + 1} = k) \ \ & = \盒装{\ mathbb {P}(间{t + 2} = j \ X_t =我中期)},结束\{对齐}$

最终的平等遵循条件概率． $_\正方形$

这 $K.$-步转换矩阵 $p_t ^ {（k）} = p_t \ cdot p_ {t + 1} \ cdots p_ {t + k-1}$由上可知，满足

$p_t ^ {（k）} = \ begin {pmatrix} \ mathbb {p}（x_ {t + k} = 1 \ mid x_t = 1）＆\ mathbb {p}（x_ {t + k} = 2 \ midX_T = 1）＆\ dots＆\ mathbb {p}（x_ {t + k} = n \ mid x_t = 1）\\ \ mathbb {p}（x_ {t + k} = 1 \ mid x_t = 2）＆\ mathbb {p}（x_ {t + k} = 2 \ mid x_t = 2）＆\ dots＆\ mathbb {p}（x_ {t + k} = n \ mid x_t = 2）\\ \ vdots＆\ vdots＆\ ddots＆\ vdots \\ \ mathbb {p}（x_ {t + k} = 1 \ mid x_t = n）＆\ mathbb {p}（x_ {t + k} = 2 \ mid x_t = n）＆\ dots＆\ mathbb {p}（x_ {t + k} = n \ mid x_t = n）\ neat {pmatrix}。$

对于下面的图表描述的时间无关的马尔可夫链，它的2步转换矩阵是多少？

---

注意转移矩阵是

$P = \begin{pmatrix} 0.3 & 0.7 \\ 0.9 & 0.1 \end{pmatrix}。$

由此可以得出 $2$阶跃转移矩阵为

$P {pmatrix} ^ 2 = \开始0.3 & 0.7 \ \ 0.9 & 0.1 \ {pmatrix} * \ {pmatrix}开始结束0.3 & 0.7 \ \ 0.9 & 0.1 \ {pmatrix} = {pmatrix}开始\ 0.3 \ cdot 0.3 + 0.7 \ cdot 0.9 & 0.3 \ cdot 0.7 + 0.7 \ cdot 0.1 \ \ 0.9 \ cdot 0.3 + 0.1 \ cdot 0.9 & 0.9 \ cdot 0.7 + 0.1 \ \ 0.1 cdot结束{pmatrix} = {pmatrix} \开始0.72 & 0.28 \ \ 0.36 & 0.64 \ {pmatrix}结束。\ _ \广场$

在马尔可夫链或整个马尔可夫链中的特定状态的各种描述允许更好地了解马尔可夫链的行为。让 $P.$为马尔可夫链的转移矩阵 $\{X_0， \， X_1，\， \dots\}$．

• 一个状态 $一世$拥有期 $k \通用电气1$如果有链从状态开始并返回到状态 $一世$具有正概率的若干步骤必须被整除 $K.$．如果 $k = 1$，那么国家被称为非周期性,如果 $k> 1$，这个州被称为周期．如果所有的状态都是非周期的，那么马尔可夫链就是非周期的。
• 马尔可夫链被称为不可减少如果在任意两个状态之间存在一个具有正概率的步骤链。
• 一个吸收状态 $一世$是哪个国家 $P_{我}= 1$．吸收国家对于讨论至关重要吸收马尔可夫链．
• 一种状态被称为复发性或瞬态根据马尔可夫链是否最终返回它。如果预期在有限数量的步骤内返回，则称为正常反复状态，否则返回空转反常。
• 一种状态被称为遍历性如果是阳性，复发性和非周期性。如果马尔可夫链的所有状态都是遍历的，则它是遍历的。

不可约性和周期性都与马尔可夫链在某个时间点上的位置有关，给定它的起始点。静止分布处理流程在未知时间点处于特定状态的可能性。对于状态数有限且每个状态都是正递归的马尔可夫链，非周期马尔可夫链等同于不可约马尔可夫链。

马尔可夫链子页面：

• 静止分布
• 各态历经的马尔可夫链
• 吸收马尔可夫链
• 无常和复发

各种各样的：

• 特征向量
• 有限状态机
• 矩阵
• 随机散步