您的位置: 首页  >  文章  >  主成分分析 PCA

主成分分析 PCA

分类: 文章 • 2025-04-23 09:29:52

基本思路

主成分分析 PCA

方差代表数据的信息，方差越大代表数据的信息量越大、所以将最大方差作为第一主元。

 

PCA的最大投影方差的角度

我们令最大投影的方向为u。那么u必须满足主成分分析 PCA即主成分分析 PCA

将每个xi中心化 主成分分析 PCA

令损失函数J为主成分分析 PCA（注意  括号里面的式子是个实数）

那么有主成分分析 PCA

S为样本的协方差，S为实对称矩阵，特征值分解就为奇异值分解

求J的最小值   用拉格朗日乘子法

主成分分析 PCA

主成分分析 PCA

结果显示   u方向为S的特征向量

 

 

PCA的最小重构代价角度

选取最大的q个主成分分析 PCA，ui作为新的坐标基 则新的坐标基下的坐标为

主成分分析 PCA

将x1在没有选为坐标基向量ui上的投影的和作为损失函数

即主成分分析 PCA

交换左右求和符号 有

主成分分析 PCA

求此函数的最小值    同样用拉格朗日乘子法 求解主成分分析 PCA

 

 

奇异值分解 SVD分解角度

H是第一部分推导出来的中心矩阵

从 奇异值的角度理解主成分分析 PCA

将主成分分析 PCA奇异值分解为主成分分析 PCA其中主成分分析 PCA

那么

主成分分析 PCA

主成分分析 PCA

 

相关推荐