马尔可夫链子

一个马尔可夫链是一个数学系统，根据某些情况，经历从一个状态到另一个状态的转换概率规则。马尔可夫链的定义特征是无论如何如何的过程到达它的当前状态时，可能的未来状态是固定的。换句话说，转换到任何特定状态的概率完全取决于当前状态和所经过的时间。的国家空间，或所有可能状态的集合，可以是任何东西:字母、数字、天气状况、棒球得分或股票表现。

马尔可夫链可以用有限状态机,随机漫步提供了他们在数学中的有用性的多元典范。它们宽泛地出现在统计和information-theoretical背景和广泛采用经济学，博弈理论，排队（通信）理论，遗传学,金融．虽然可以讨论具有任何规模的状态空间，初始理论和大多数应用的Markov链条在具有有限（或可选的无限）状态的情况下聚焦。

马尔可夫链的许多应用都需要熟练掌握常用的方法矩阵方法。

马尔可夫链是随机过程，但它不同于一般的随机过程，因为马尔可夫链必须是“无记忆的”。也就是说，未来行动的(概率)并不依赖于导致当前状态的步骤。这叫做马尔可夫财产．虽然马尔可夫链的理论很重要，所以正是因为这么多“日常”过程满足马尔可夫财产，但有许多不满足马尔可夫财产的随机性能的常见例子。

一个常见的概率问题是，当从一袋多色球中均匀随机选择时，得到一个特定颜色球的概率是多少。它也可以问下一个球的概率是多少，等等。这样，随机变量的颜色就开始存在一个随机过程，且不满足马尔科夫性质。根据移除的球的不同，之后得到特定颜色球的概率可能会有很大的不同。

同一问题的变体再次询问球形，但每次绘制球时允许更换。再次，这会产生随机变量的颜色的随机过程。然而，这个过程，做满足马尔可夫性质。你能找出原因吗?

在概率论中，最直接的例子是atime-homogeneous马尔可夫链，其中任何状态转换的概率都与时间无关。这种过程可以用标记的指示可视化图，任何顶点的传出边缘的标签的总和为1。

建立在状态A和状态B上的A(时齐次)马尔可夫链如下图所示。从a开始的过程在移动2次后到达B的概率是多少?

---

为了从到B移动，该过程必须保持第一移动，然后移动到第二个移动;或者移动到第一次移动，然后留在第二次移动。根据该图，概率是 $0.3 \ CDOT 0.7 + 0.7 \ CDOT 0.2 =盒子{0.35}。$

另一种情况是，在移动2步后，过程在A上的概率是 $0 \cdot 0.3 + 0.7 \cdot 0.8 = 0.65$．因为在链中只有两种状态，如果进程不在A上，它就必须在B上，因此在移动2次后进程在B上的概率是 $1 - 0.65 = \盒装{0.35}。$ $_ \广场$

用…的语言有条件的概率和随机变量，马尔可夫链是序列 $x0， \， X_1， \， X_2， \， \$满足条件独立规则的随机变量：

马尔可夫财产。

对于任何正整数 $n$和可能的状态 $i0， \， i_1， \， \导，\，i_n$在随机变量中，

$P (X_n = i_n \中期间{n} = i_ {n}) = P (X_n = i_n \ X_0 = i_0,中期\,X_1 = i_1 \ \点,\,间{n} = i_ {n})。$

换句话说，确定当前状态的概率分布所需的所有状态的知识。这个定义比上面探索的定义更广泛，因为它允许非平稳过渡概率因此时间不均匀的马尔可夫链;也就是说，随着时间的推移（步骤增加），从一个状态移动到另一个状态的概率可能会改变。

一个转移矩阵 $P_t$对马尔可夫链 $\ \ {X}$在时间 $t$是A.矩阵包含状态之间转换概率的信息。特别是，给定一个矩阵的行和列的顺序由状态空间 $年代$, $(我\ j) ^ \文本{th}$矩阵的元素 $P_t$是由

$(P_t) _ {i, j} = \ mathbb {P}(间{t + 1} = j \ X_t =我中期)。$

这意味着矩阵的每一行是一个概率向量，其各元素的和是 $1$．

转移矩阵具有这样的性质，即后续矩阵的乘积描述了沿着转移矩阵所跨越的时间区间的转移。也就是说， $p_0 \ cdot p_1$在其 $(我\ j) ^ \文本{th}$定位概率 $X_2 j =$鉴于 $X_0 = I.$．一般来说 $(我\ j) ^ \文本{th}$的位置 $p_t \ cdot p_ {t + 1} \ cdot \ dot to \ cdot p_ {t + k}$是概率 $\mathbb{P}(X_{t+k+1} = j \mid X_t = i)$．

证明，对于任何自然数 $t$和州 $我，\，j \在s$，矩阵条目 $（p_t \ cdot p_ {t + 1}）_ {i，j} = \ mathbb {p}（x_ {t + 2} = j \ mid x_t = i）$．

---

表示 $m = p_t \ cdot p_ {t + 1}$．通过矩阵乘法，

$\ begin {对齐} m_ {i，j}＆= \ sum_ {k = 1} ^ n（p_t）_ {i，k}（p_ {t + 1}）_ {k，j} \\＆= \sum_ {k = 1} ^ n \ mathbb {p}（x_ {t + 1} = k \ mid x_t = i）\ mathbb {p}（x_ {t + 2} = j \ mid x_ {t + 1}= k）\\＆= \ zered {\ mathbb {p}（x_ {t + 2} = j \ mid x_t = i）}，\结束{对齐}$

最后的等式是有条件的概率． $_ \广场$

的 $k$一步一步转换矩阵 $P_t^{(k)} = P_t \cdot P_{t+1} \cdots P_{t+k-1}$并且，通过上述，满足

$P_t ^ {(k)} = {pmatrix} \ \开始mathbb {P}(间{t + k} = 1 \中期X_t = 1) & \ mathbb {P}(间{t + k} = 2 \中期X_t = 1) & & \ \点mathbb {P}(间{t + k} = n \中期X_t = 1) \ \ \ mathbb {P}(间{t + k} = 1 \ X_t中期= 2)& \ mathbb {P}(间{t + k} = 2 \ X_t中期= 2)& & \ \点mathbb {P}(间{t + k} = n \ X_t中期= 2)\ \ \ vdots & \ vdots & \ ddots & \ vdots \ \ \ mathbb {P}(间{t + k} = 1 \ X_t中期=n）& \mathbb{P}(x_{t+k} = 2 \mid X_t = n) & \dots & \mathbb{P}(X_{t+k} = n \mid X_t = n) \end{pmatrix}.$

对于下图所描述的时间无关的马尔可夫链，它的两步转移矩阵是什么?

---

注意转换矩阵是

$p = \ begin {pmatrix} 0.3＆0.7 \\ 0.9＆0.1 \ end {pmatrix}。$

它遵循 $2$阶跃转移矩阵为

$P {pmatrix} ^ 2 = \开始0.3 & 0.7 \ \ 0.9 & 0.1 \ {pmatrix} * \ {pmatrix}开始结束0.3 & 0.7 \ \ 0.9 & 0.1 \ {pmatrix} = {pmatrix}开始\ 0.3 \ cdot 0.3 + 0.7 \ cdot 0.9 & 0.3 \ cdot 0.7 + 0.7 \ cdot 0.1 \ \ 0.9 \ cdot 0.3 + 0.1 \ cdot 0.9 & 0.9 \ cdot 0.7 + 0.1 \ \ 0.1 cdot结束{pmatrix} = {pmatrix} \开始0.72 & 0.28 \ \ 0.36 & 0.64 \ {pmatrix}结束。\ _ \广场$

对马尔可夫链中的特定状态或整个马尔可夫链的各种描述，有助于更好地理解马尔可夫链的行为。让 $P$是马尔可夫链的过渡矩阵 $\{X_0， \， X_1，\， \dots\}$．

• 一个国家 $我$有时期 $k \通用电气1$如果任何链开始并返回州 $我$积极概率必须采取一些分隔的步骤 $k$．如果 $k = 1$，则该状态称为非周期， 而如果 $k > 1$，国家被称为定期．如果所有国家是非周期性的，那么马尔可夫链被称为非周期性。
• 马尔可夫链被称为不可约如果存在具有积极概率的任何两个状态之间的步骤链。
• 一个吸收状态 $我$是一种状态 $P_{我}= 1$．吸收状态对于讨论是至关重要的吸收马尔可夫链条．
• 一种状态被称为复发或瞬态取决于马尔可夫链最终是否会回到它。如果期望在有限的步骤内返回，则称为正递归状态，否则为null递归状态。
• 一种状态被称为ergodic.如果是阳性复发和非周期性。如果所有国家都是遍历，马尔可夫链是遍历的。

不可约性和周期性都与马尔可夫链在某个时间点上的位置有关，给定它的起始点。平稳分布处理流程在未知时间点处于特定状态的可能性。对于状态数有限且每个状态都是正递归的马尔可夫链，非周期马尔可夫链等同于不可约马尔可夫链。

马尔可夫链子页:

• 平稳分布
• 各态历经的马尔可夫链
• 吸收马尔可夫链
• 瞬间和再次发生

杂项:

• 特征向量
• 有限状态机
• 矩阵
• 随机漫步