协方差矩阵学习

一、多维随机变量的协方差矩阵
对多维随机变量列向量，我们往往需要计算各维度之间的协方差，这样协方差就组成了一个n×n的矩阵，称为协方差矩阵。协方差矩阵是一个对角矩阵，对角线上的元素是各维度上随机变量的方差。 我们定义协方差为, 矩阵内的元素为
协方差矩阵为

二、样本的协方差矩阵
与上面的协方差矩阵相同，只是矩阵内各元素以样本的协方差替换。假设数据集表示m个样本， 每个样本表示为。所有样本可以组成一个的矩阵。

每一行代表一个对象，每一列代表一个维度，协方差矩阵，是求维度之间的相关性，而不是对象之间的，所以协方差矩阵的大小与维度相关。表示第i维的随机变量。

假设,则有


对角元素代表整体的不确定度，画成椭圆就是和椭圆的平均半径有关。
非对角元素越大，椭圆越椭。一方面说明某些变量的相关度变大了，但本质是本来一个大大的正圆的两侧被消掉了，所以变成了椭圆，所以本质是不确定度变小了。
所以使用EKF的时候观察协方差的变化，经常是一个对角矩阵，对角元素的值越来越小，非对角元素的值越来越大
观察方程中只要一个观察值同时有多个状态影响，就会在这些状态间产生相关性。所以如果只有一个观察量，对应只有一个方程的化。这个方程的变量之间一定是有无穷多个解的。
使用这个方程更新协方差后，虽然得不出来具体一个值，但是协方差的某些区域不确定度变小了，正圆也就变成椭圆了。这些变量之间也就产生的相关性。
仍然可以用协方差的椭圆图像来理解。update之前的状态不确定度对应一个椭圆，观察量对应一个椭圆。像个椭圆叠加相乘。如果观察量对应的不确定度是个椭圆，而状态不确度是个正圆。相乘后结果也是椭圆。要怎么把椭圆变成更小的元呢？那就需要再乘一个不同方向的椭圆。这个就对应增加了观察量（多了方程）。不管是同时更新（一个时刻观察到很多landmark）。还是下一个时刻从另外一个方向观察（状态发生变化，线性化后的H矩阵也变化了）

可以参考作者：http://www.cnblogs.com/terencezhou/p/6235974.html
本文链接：https://blog.****.net/u011362822/article/details/95905113