多元正态分布

一个多元正态分布是一个向量在多个正态分布变量，这样任何线性组合变量的也是正态分布．它主要用于扩展中心极限定理要多变量，也要有应用贝叶斯推理因此机器学习，其中用多元正态分布近似某些特征的特征;例如，在检测图片中的人脸。

两个变量的正态分布(高斯分布)

一个随机向量 $\mathbf{x}=(X_1, X_2， \ldots, X_n)$多元变量是否正常线性组合随机变量的 $X_1, X_2， \ldots, X_n$是正态分布．换句话说, $a_1X_1 + a_2X_2 + \ ldots + a_nX_n$是否有常数的正态分布 $A_1, a_2， \ldots, a_n$．

等价地，多元分布可以被看作线性变换一个独立的标准正态随机变量集合，意思是如果 $z \ mathbf {}$另一个分量都是标准随机变量的随机向量，是否存在一个矩阵 $一个$和向量 $\μ$这样

$\ mathbf {x} = \ mathbf {z} + \μ。$

如果 $\ mathbf {x}$多元正常吗，它也有一个平均向量 $\μ$这样

$\μ= (\ mathbb {E} (X_1)、\ mathbb {E} (X_2)、\ ldots \ mathbb {E} (X_n))$

在哪里 $\ mathbb} {E (X)$的期望值(或平均值)是 $X$． $\ mathbf {x}$也有一个协方差矩阵 $\σ$令人满意的

$\Sigma_{i,j} = \text{Cov}(X_i, X_j)$

在哪里 ${x} \文本(X_i X_j)$是协方差的 $X_i$而且 $X_j$．

此外, $\ mathbf {x}$完全由 $\μ$而且 $\σ$，所以写起来很方便

$\mathbf{x} \sim \mathcal{N}(\mu， \Sigma)。$

的p.d.f。多元正态分布 $\ mathbf {x}$是由

$p (\ mathbf {x};\μ,\σ)= \压裂{1}{(2 \π)^{\压裂{n}{2}} | \σ| ^{\压裂{1}{2}}}{exp} \ \文本左(- \压裂{1}{2}(\ mathbf {x} - \μ)^ T \σ^ {1}(\ mathbf {x} - \μ)\右)$

在哪里 ${exp} \文本(x) = e x ^$．

在理解这个方程时，将其与的p.d.f.进行比较是有用的一元正态分布，即1变量的正态分布，由

$p (x);\μ,\σ^ 2)= \压裂{1}{\ sqrt{2π\}\σ}{exp} \ \文本左(- \压裂{1}{2 \σ^ 2}(x - \μ)^ 2 \右)$

在这个单变量情况下， $- - - - - - \压裂{1}{2 \σ^ 2}(x - \μ)^ 2$是的二次函数吗 $x$，这是一个抛物线因为前面的系数是负的，所以开口向下。在多元情况下， $- \压裂{1}{2}(\ mathbf {x} - \μ)^ T \σ^ {1}(\ mathbf {x} - \μ)$是一个二次形式向量中 $\ mathbf {x}$．自 $\σ$是正定，这个二次型是负定的，因此打开一个向下的“碗”，类似于单变量情况下抛物线向下打开的方式。

单变量情况下的前系数 $\压裂{1}{\ sqrt{2π\}\σ}$不依赖于 $x$，以这样一种方式被选择

$\压裂{1}{\√6σ{2π\}\}\ int_ {- \ infty} ^ {\ infty} {exp} \ \文本左(- \压裂{1}{2 \σ^ 2}(x - \μ)^ 2 \右)= 1$

类似地，多元情况下的前导系数 $\压裂{1}{(2 \π)^{\压裂{n}{2}} | \σ| ^{\压裂{1}{2}}}$不依赖于 $\ mathbf {x}$，以这样一种方式被选择

$\压裂{1}{(2 \π)^{\压裂{n}{2}} | \σ| ^{\压裂{1}{2}}}\ int_ {- \ infty} ^ {\ infty} \ int_ {- \ infty} ^ {\ infty} \ ldots \ int_ {- \ infty} ^ {\ infty} {exp} \ \文本左(- \压裂{1}{2}(\ mathbf {x} - \μ)^ T \σ^ {1}(\ mathbf {x} - \μ)\右)= 1$

同样值得注意的是，在这种情况下，多元公式简化为单变量公式 $n = 1$就像这个例子一样 $(\ mathbf {x} - \μ)^ T \σ^ {1}(\ mathbf {x} - \μ)= (x - \μ)\压裂{1}{\σ^ 2}(x - \μ)$．

多元分布的一个重要意义是中心极限定理多个变量:

假设 $我\ \ {X_i \} _ {\ mathbb {N}}$一个独立的，同分布的随机向量序列是否具有共同的平均向量 $\μ$和正定的协方差矩阵 $\σ$．然后

$Y_n = \frac{1}{\sqrt{n}}\sum_{i=1}^n (X_i-\mu)$

收敛于

$Y_n \sim \mathcal{N}(0， \Sigma)$

多元正态分布有助于分析多个正态分布变量之间的关系，因此在生物学和经济学中具有重要的应用，在这些领域中，近似正态变量之间的关系是非常有趣的。例如，多元分布最早的应用之一是分析父亲的身高和大儿子的身高之间的关系，解决了达尔文在《物种起源》．这项研究揭示了:

• 父子身高均呈正态分布，平均68，方差3(英寸)。
• 对于任何给定的高度 $f$即父亲身高高的儿子的身高 $f$是也正态分布，实际上平均身高是的线性函数 $f$．

实际上，高尔顿发现了条件分布多元正态的:如果 $\ mathbf {x}$被划分到 ${pmatrix} \ \开始mathbf {x_1} \ \ \ mathbf {x_2} \ {pmatrix}结束$， $\μ$成 ${pmatrix} \ mu_1 \ \ \ \开始mu_2 \ {pmatrix}结束$, $\σ$成 ${pmatrix} \ \开始Sigma_ {11} & \ Sigma_{12} \ \ \σ”_ {12}& \ Sigma_ {22} \ {pmatrix}结束$,然后

$\ mathbf {X_1} | \ mathbf {X_2} \ sim \ mathcal {N} (\ mu_1 + \ sigma_ {12} \ sigma_ {22} ^ {1} (\ mathbf {X_2} - \ mu_2), \ sigma_ {11} - \ sigma_ {12} \ sigma_ {22} ^ {1} \ sigma_{12}”)$

谁的重要性主要延伸到条件分布的事实 $\ mathbf {x} | \ mathbf {y}$的正态分布，其中参数为的函数 $\ mathbf {y}$．

在现代，多元正态分布非常重要机器学习，其目的(非常粗略地说)是对输入数据进行分类 $x$到标签 $y$，基于一些训练对 $x, y$．一个主要的方法是分析分布 $p (x y |)$，并近似于多元正态分布，其有效性可以用各种正常的测试；然而，矛盾的是，基于多元正态分布的分类在实践中是成功的，即使已知它是一个糟糕的数据模型。

• 连续随机变量-概率密度函数
• 正态分布
• 协方差