一种关于PCA主成分分析中协方差矩阵特征向量的直观理解

参考文章:https://blog.csdn.net/a10767891/article/details/80288463

  1. PCA问题可以理解为一个坐标变换问题
    一种关于PCA主成分分析中协方差矩阵特征向量的直观理解
    结合文首的链接,我们知道,PCA就是舍去一些样本变化比较小的维度,所以图片中e2方向的信息可以舍去,将二维数据压缩到一维。到这里,不难理解,PCA问题就要新建一个坐标系:数据分布最离散的方向作第1个轴,然后在垂直(正交)已建立轴的空间里选取使数据最离散的方向作第2个轴…直到n轴建立完成。(n为数据维度)。
  2. 坐标变换用文字描绘出来了,但数学上怎么操作呢?
    阅读如下照片一种关于PCA主成分分析中协方差矩阵特征向量的直观理解
    原来的样本矩阵X,乘以坐标变换矩阵P后,得到了表示在新坐标系表示的样本矩阵Y。即Y=XP。(对于均一化话的样本,新坐标系其实就是绕着原点旋转,自然而然,坐标变换矩阵P中的向量为正交向量,读者可以通过图片中的例子来自行推导领悟)
    什么样的P,能使Y的坐标系满足1中的条件呢?
    答:X的协方差矩阵的特征向量,组成的矩阵,可作为P。推导过程可以参考文首链接1中的数学推导。