协方差矩阵

先讨论下方差的概念和样本方差。图一为标准差，标准差提供了一种衡量数据在特征空间的分布程度。

我们知道无偏估计的样本方差公式可以通过如下方式获得：

但是，方差只能用于解释数据在平行于特征空间轴上的扩展。参考图二中的二维特征空间：

对于这个数据，我们可以用x轴方向计算出方差σ(x,x)，用y轴方向计算出方差σ(y,y)。然而，数据的水平扩展和垂直扩展不能清晰解释对角线上的相关性。图二清晰表明，整体而言，如果数据点x值增加，那么y值也增加，他们之间是正相关的。我们将方差的概念扩展为协方差时，就能更好地解释这种相关性。

对于二维的数据，我们可以得到σ(x,x)，σ(y,y)，σ(x,y)，σ(y,x)。这四个值可以汇总成一个矩阵，称为协方差矩阵：

如果x正相关与y，那么y也同样正相关与x；换句话说，σ(x,y)=σ(y,x)。因此，协方差矩阵通常都是一个对称矩阵，其对角线上为方差，非对角线上为协方差。二维正态分布的数据完全由其均值和2x2的协方差矩阵解释。同样，3x3的协方差矩阵用来解释三维空间上的数据，NxN的协方差矩阵用来解释N维的空间数据。

协方差最大的特征向量永远指向能够使得投影方差最大的方向，其方向向量大小刚好等于对应的特征值。第二大的特征向量总是与第一大特征向量正交，并指向数据第二大扩展方向。

下面我们将举例说明：
如果协方差矩阵是对角矩阵，即协方差全为0，这就意味着常查等于特征值λ。如图四 ，其中特征向量用绿色和品红区分，可以明显看出特征值等于协方差矩阵的方差分量。

然而，如果协方差矩阵不是对角矩阵，情况就会变得复杂一些。特征值依然表示在最大扩展方向上的方差幅度，同时，协方差的方差分量依然表示数据关于x轴和y轴的方差幅度大小。因为这些数据不再是轴对称的，所以这些值不再相同。

通过比较图四和图五，特征值表示数据随特征向量方向的方差，同时，协方差的方差分量表示沿着坐标轴的扩散。如果不存在相关性，那么两个值都应该相等。

链接：https://www.jianshu.com/p/a657bb8eabab