SVD的几何意义和公式推导
关于SVD的理解网上有很多写的不错的博客，选择几篇个人觉得总结得很好的在这里mark一下，以方便后续继续学习。如有侵权，请联系博主删除！
SVD的通俗理解：将一个比较复杂的矩阵用更小更简单的3个小矩阵的相乘来表示，这三个小矩阵描述了矩阵的重要特性。
1. SVD的几何意义
参考博客园：https://www.cnblogs.com/lzllovesyl/p/5243370.html
1）给向量左乘一个对角矩阵，相当于对这个向量的长度进行了缩放，此处坐标轴并没有发生变化；
2）给向量左乘一个对称矩阵，相当于对这个向量的长度进行了缩放，并且对坐标轴也进行了旋转；
3）给向量左乘一个普通矩阵，总能找到一组正交的坐标轴来表示该向量，这组坐标轴是由原来的坐标轴通过缩放和旋转得到。
【以下图片来源于：https://www.cnblogs.com/lzllovesyl/p/5243370.html】
2. SVD的公式推导
参考博客园：https://www.cnblogs.com/pinard/p/6251584.html
1）与特征值分解不同，SVD不要求矩阵为方阵。对于m×n的矩阵A，SVD分解定义为：
２）三个子矩阵的求解
3. 基于SVD的数据降维
4. 基于SVD的PCA变换
PCA变换的实质是对矩阵的协方差矩阵X'X进行特征值分解的，而SVD的右奇异向量V正好是对X'X的特征分解。