协方差矩阵

方差:s2=i=1n(xixˉ)2n1s^2=\frac{\sum_{i=1}^n (x_i-\bar{x})^2}{n-1}
协方差:covxy=i=1n(xiμx)(yiμy)n1cov_{xy}=\frac{\sum_{i=1}^n(x_i-\mu_x)(y_i-\mu_y)}{n-1}

针对一维(个)随机变量,协方差就是方差;
针对二维(二个)随机变量反映的就是两纬度之间的相关性(正相关性、负相关性或无关);
针对三维样本集合时,求出的时各个纬度总体的相关性,针对各个纬度之间,用协方差矩阵表示;

下面的矩阵表示学生成绩,有三个纬度:数学、英语、艺术。
协方差矩阵中(i,j)(i,j)表示,第ii个纬度和第jj个纬度的协方差。可以用XTXX^TX表示。
协方差矩阵
有一点要注意,上面的例子中X=[x1TxnT]X=\begin{bmatrix} x_1^T \\ \vdots \\ x_n^T \end{bmatrix},协方差矩阵是XTXX^TX
如果X=[x1xn]X=\begin{bmatrix}x_1 \dots x_n\end{bmatrix},协方差矩阵就是XXTXX^T.

参考:https://www.bilibili.com/video/BV1Vt4y1U73D?from=search&seid=11235088985399038217