统计学习方法笔记(十六)

统计学习方法笔记(十六):主成分分析

定义

  • 主成分分析(PCA)是一种常用的无监督学习方法,这一方法利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据,线性无关的变量称为主成分主成分的个数通常小于原始变量的个数,所以主成分分析属于降维方法

基本想法

统计学习方法笔记(十六)

几何解释

统计学习方法笔记(十六)

总体主成分分析

  • 定理
    统计学习方法笔记(十六)

  • 规范化变量的总体主成分
    统计学习方法笔记(十六)

样本主成分分析

  • 定义和性质
    统计学习方法笔记(十六)

  • 变换后的协方差计算统计学习方法笔记(十六)

相关矩阵的特征值分解算法

统计学习方法笔记(十六)

数据矩阵的奇异值分解算法

统计学习方法笔记(十六)

总结

  • x的第i主成分的方差是协方差矩阵Σ\Sigma的第i个特征值统计学习方法笔记(十六)

  • 主成分有以下性质
    统计学习方法笔记(十六)

  • 样本主成分分析就是基于样本协方差矩阵的主成分分析
    统计学习方法笔记(十六)

  • 两种主成分分析方法
    统计学习方法笔记(十六)