统计学习方法笔记（十五）
统计学习方法笔记（十五）：奇异值分解
概述
- 奇异值分解（singular value decomposition，SVD）是一种矩阵因子分解法，是线性代数的概念
- 矩阵的奇异值分解不是唯一的
- 任意给定一个实矩阵，其奇异值分解一定存在
- 奇异值分解是在平方损失意义下对矩阵的最优近似。
- 矩阵的奇异值分解也可以看作是将其对应的线性变换分解为旋转变换、缩放变换以及旋转变换的组合，且这个变换组合一定存在
正交矩阵和正交向量
-
正交矩阵
-
正交向量：若两向量，它们的点积为0，则它们互相称为正交向量，如（1，1，0）和（1，-1，0）
奇异值分解定义
- 一个例子
紧奇异值分解与截断奇异值分解
-
紧奇异值分解是与原始矩阵等秩的奇异值分解；截断奇异值分解是比原始矩阵低秩（通常低很多）的奇异值分解
-
紧奇异值分解对应着无损压缩；截断奇异值分解对应着有损压缩
-
紧奇异值分解
-
截断奇异值分解