协方差矩阵和相关系数矩阵

1.概述

首先从随机变量的方差的性质讲起。
设 $X$ ， $Y$ 是两个随机变量， $E(X)$ ， $E(Y)$ ， $D(X)$ ， $D(Y)$ 分别为各自的期望和方差，则有:

$D(X+Y)=D(X)+D(Y)+2E{(X-E(X))(Y-E(Y))}$ . (1)
特别的，当

$X$ ，

$Y$ 相互独立时，有:

$D(X+Y)=D(X)+D(Y)$ . (2)
对比（1）式和（2）式知，

$X$ ，

$Y$ 相互独立时还应该有:

$E{(X-E(X))(Y-E(Y))} =0$ . (3)
这意味着当

$E{(X-E(X))(Y-E(Y))}\neq 0$ 时，X与Y不相互独立，而是存在一定关系的。

我们把 $E{(X-E(X))(Y-E(Y))}$ 拿出来，单独定义一个概念，即协方差，记为 $Cov(X,Y)$ ，即：

$Cov(X,Y)=E{(X-E(X))(Y-E(Y))}$ . (4)
而

$\rho _{XY} = \frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$ . (5)
称为随机变量

$X$ ，

$Y$ 的相关系数。
将

$Cov(X,Y)$ 的定义式展开，易得：

$Cov(X,Y)=E(XY)-E(X)E(Y)$ . (6)
我们常常用这一式子计算协方差。

协方差的性质：
i) $Cov(aX,bY)=abCov(X,Y)$ ，a，b是常数；
ii) $Cov(X1+X2，Y)=Cov(X1,Y)+Cov(X2,Y)$ .

相关系数的性质：
i) $\mid \rho _{XY} \mid \leq 1$ ；
ii) $\mid \rho _{XY} \mid=1$ 的充要条件是，存在常数a，b使得 $P{Y=a+bX}=1$ 。

上面的定义都是针对二维随机变量的，那么对于n维随机变量，相应的有协方差矩阵和相关系数矩阵的定义。

设n维随机变量 $(X1,X2,…,Xn)$ 的二阶混合中心距

$c _{ij} = Cov(X_{i},X_{j})=E{[X_{i}-E(X_{i})][X_{j}-E(X_{j})]},i,j=1,2,…,n$ . (7)
都存在，则称矩阵

$C=[c_{ij}]$ . 为该

$n$ 维随机变量的协方差矩阵。相应的有相关系数矩阵的定义

$\sum=[\rho _{ij}]$ 。

设有m个样本，则可构成m×n的样本矩阵X，对X进行标准化变换后得到矩阵Z，那么由相关系数矩阵的定义有

$\sum = Z^{T}*Z$
其中

$Z^{T}$ 为

$Z$ 的转置。

由二者的定义公式可知，经标准化的样本数据的协方差矩阵就是原始样本数据的相关矩阵。 这里所说的标准化指正态化，即将原始数据处理成均值为0，方差为1的标准数据。

《概率论与数理统计》浙大第4版