协方差矩阵

1、协方差

1)期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为：COV(X，Y)=E[(X-E(X))(Y-E(Y))]

　　其中，E是期望值。它也可以表示为：

　　直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。

　　如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。

　　如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

　　如果X与Y是统计独立的，那么二者之间的协方差就是0

两个不同参数之间的方差就是协方差 若两个随机变量X和Y相互独立，则E[(X-E(X))(Y-E(Y))]=0，因而若上述数学期望不为零，则X和Y必不是相互独立的，亦即它们之间存在着一定的关系。

2)　　定义

　　E[(X-E(X))(Y-E(Y))]称为随机变量X和Y的协方差，记作COV(X，Y)，即COV(X，Y)=E[(X-E(X))(Y-E(Y))]。

 

2、协方差矩阵

假设 X 是以 n 个标量随机变量组成的列向量，并且μk 是其第k个元素的期望值, 即, μk = E(xk), 协方差矩阵然后被定义为：

　　Σ=E{(X-E[X])(X-E[X])}=(如图)

　　矩阵中的第(i,j)个元素是xi与xj的协方差. 这个概念是对于标量随机变量方差的一般化推广。