协方差

的协方差将方差的概念推广到多个随机变量。协方差不是测量单个随机变量的波动，而是测量两个变量相互之间的波动。

内容

定义

计算协方差

协方差-属性

协方差矩阵

参考文献

定义

回忆,<一个href="//www.parkandroid.com/wiki/variance-definition/" class="wiki_link" title="方差" target="_blank">方差是单个随机变量的均值的平方偏差吗 $X$ ： $\text{Var}(X) = E[\左(X - E[X]\右)^2]。$ 协方差采用类似的函数形式。

的协方差 ${X} \文本(X, Y)$ 的随机变量 $X$ 而且 $Y$ 被定义为 $文本\ {X} (X, Y) = E \离开[(X - E (X)) (Y - E [Y]) \]。$

现在，协方差测量的不是单个变量的波动两个变量如何一起波动．如果协方差很大，两者都是

X - E (X)

而且

Y - E [Y]

必须同时是大的，或者换句话说，一起变化。

计算协方差

一般来说，通过取协方差更简单 $\ {X}{对齐}\文本(X, Y) & = E [XY - E [X] Y - X E [Y] E + E [X] [Y ]] \\ &= \ 盒装{E (XY) - E (X) E [Y]。} \结束{对齐}$ 换句话说，为了计算协方差，我们可以找到 $E (XY)$ 除了…的手段之外 $X$ 而且 $Y$ ）.

让 $X$ 而且 $Y$ 是这样的随机变量

$P(x = 0, y = -1) = 1/5$
$P(x = 0, y = 1) = 1/5$
$P(x = 1, y = -1) = 1/2$
$P(x = 1, y = 1) = 1/10$ ．

找到 ${X} \文本(X, Y)$ ．

类似地，我们可以找到方差的表达式: $\ {Var}{对齐}\文本(X + Y) & = E \离开[(X + Y - E (X) - E [Y]) ^ 2 \] \ \ & = E[\离开(X - E [X] \右)^ 2]+ E[\离开(Y - E [Y] \右)^ 2]+ 2 E \离开[(X - E (X)) (Y - E [Y]) \] \ \ & = \盒装{{Var} (X) + \ \文本的文本文本{Var} (Y) + 2 \ {X} (X, Y)。}\{对齐}结束$

对这一结果的概括说明如下。

和的方差。考虑到随机变量 $X_i$ ，每个方差有限，

$左(\ \文本{Var} \ sum_i X_i \右)= {Var} \ sum_i \ \文本(X_i) + 2 \ sum_ {i < j} \ {x} (X_i X_j)文本。$

协方差-属性

协方差继承了许多与<一个href="//www.parkandroid.com/wiki/inner-product/" class="wiki_link" title="内积" target="_blank">内积从线性代数。证明涉及到简单的代数，留给读者做练习。

给定一个常数 $一个$ 和随机变量 $X$ ， $Y$ , $Z$ ，以下属性包含:

$\text{Cov}(X, X) = \text{Var}(X) \geq 0$

$\text{Cov}(X, Y) = \text{Cov}(Y, X)$

$\text{Cov}(aX, Y) = a \text{Cov}(X, Y)$

$\text{Cov}(X, a) = 0$

$文本\ {X} (X + Y, Z) = {X} \文本(X, Z) +文本\ {X} (Y, Z)$ ．

一，二，三，四只有一，三，四我只只有I和II 只有一，二，四

得到的知识 ${x} \文本(W, Y)$ ， ${x} \文本(W、Z)$ ， ${X} \文本(X, Y)$ , ${X} \文本(X, Z)$ ，以下哪项一定可以计算?

我。 $\text{Cov}(W + X, Y + Z)$

2 $\text{Cov}(Y + Z, W + X)$

3 $\text{Cov}(W, X + Y + Z)$

4 $\text{Cov}(W, X + Y + Z)$ 如果它知道的话 $W$ 而且 $X$ 是独立的

让 $X$ 而且 $Y$ 是这样的随机变量 ${Var} (X) = \ \文本σ^ 2$ 而且 $Y = aX$ ,在那里 $\σ$ 而且 $一个$ 是常数。确定 ${X} \文本(X, Y)$ ．

内积性质屈服

${X} \文本(X, Y) = {X} \文本(X, aX) = {X} \文本(aX, X) = \文本{X} (X, X) = a \σ^ 2。$

如果 $X$ 是标准正态随机变量和 $Y = 3 x$ 是什么 ${X} \文本(X, Y)$ ?

结果，<一个href="//www.parkandroid.com/wiki/cauchy-schwarz-inequality/" class="wiki_link" title="cauchy - schwarz不平等" target="_blank">cauchy - schwarz不平等适用于协方差。

cauchy - schwarz不等式。考虑到随机变量 $X$ 而且 $Y$ ，

$左\ [{X} \文本(X, Y) \] ^ 2 \ leq \ {Var} (X) \文本{Var} (Y)。$

协方差的一个关键性质是独立随机变量的协方差为零。

自变量的协方差。如果 $X$ 而且 $Y$ 是独立的随机变量吗 $\text{Cov}(X, Y) = 0。$

如果 $X$ 而且 $Y$ 是独立的,那么 $E[xy] = E[x] E[y]$ 因此 $\text{Cov}(X, Y) = 0$ ．(回想一下, $E[xy] = E[x] E[y]$ 这是一个简单的结果吗 $P(x | y) = P(x)$ ．）

协方差为零的因变量。然而，反过来就不一定了。作为一个简单的例子，假设 $X$ 是标准正态随机变量吗 $Y = X ^ 2$ ．注意到关于 $X$ 完全确定 $Y$ ，这样的话 $X$ 而且 $Y$ 很明显是相互依赖的。然而，根据对称性，它是成立的 $\text{Cov}(X, Y) = E[XY] - E[X] E[Y] = 0。$

一个简单的推论如下。

自变量和的方差。给定独立随机变量 $X_i$ ，每个方差有限，

$左(\ \文本{Var} \ sum_i X_i \右)= {Var} \ sum_i \ \文本(X_i)。$

自 $X_i$ 都是独立的，那一定是这样的情况吗 $\text{Cov}(X_i, X_j) = 0$ 对所有 $我\ neq j$ ，其结果直接由和定理的方差得出。

协方差矩阵

当处理大量随机变量时 $X_i$ 时，考虑协方差矩阵谁的 $m, n$ th条目 ${x} \文本(X_m X_n)$ ．

自 $\text{Cov}(X, Y) = \text{Cov}(Y, X)$ ，协方差矩阵是对称的。

参考文献

[1]德格鲁特，莫里斯·H。概率和统计．第二版。addison - wesley, 1985年。

测试

有关……

内容