《深度学习》花书训练营 个人笔记 week1-day1：SVD分解和PCA降维

声明：以下内容基于深度之眼《深度学习》花书训练营课程
《深度学习》中文版电子版下载： https://github.com/exacity/deeplearningbook-chinese

关于参考书，老师推荐《深度学习》花书、《Python数据分析》

一、任务详解

1、学习花书1-2章内容，重点关注：
¨ 2.1-2.4，2.6，2.10-2.11：线性代数基本概念、基本运算
¨ 2.5：机器学习中常用的范数及其性质
¨ 2.7-2.8：矩阵分解
¨ 2.9：矩阵的伪逆
¨ 2.12：主成分分析

2、观看讲解视频，进一步理解下列知识点：
¨ 特殊矩阵的对角化，以及一般矩阵的svd分解，以及应用
¨ 多元线性回归的最小二乘解法，逆矩阵伪逆矩阵
¨ pca主成分分析

3.作业
a. 掌握对称矩阵的对角化分解的计算过程（复习同济大学线性代数第五版p125的例12）
完成p135的第19题的第二小题（截图或拍照，然后打卡提交作业）
参考电子书下载链接：https://pan.baidu.com/s/1L3HcGLMOHnvh8tgkSvXAXQ 提取码：l4zy
b. 熟悉svd分解算法的流程
c. 为什么要用最小二乘，以及最小范数的最小二乘，从矩阵的可逆的角度去解释（打卡提交文字，或拍照提交图片）
d. 理解pca的压缩思想以及损失函数，掌握pca的算法流程，并且编程实现（需要提交代码截图，数据可以随机产生）
e. 参考https://nbviewer.jupyter.org/github/ageron/handson-ml/blob/master/math_linear_algebra.ipynb，温习线性代数。
f. 阅读https://zhuanlan.zhihu.com/p/24709748，学习标量对矩阵的求导。

1.矩阵对角化，SVD分解及应用

矩阵的压缩表示：即矩阵的对角化，只保留第一个分量，λ1（）n×n ，λ1、矩阵（）n×n 共n+1格参数。

注解：1.两矩阵A、B交换相乘，不为零的特征值相等。
2.半正定性证明：XT(ATA)X =…=||AX||^2 >=0。
3.图像压缩存储最小需要m+n+1个参数，即只保留svd分解之后第一个分量，包含λ1和一个m×n的矩阵，所以总的参数量为m+n+1；当存储量为K*（m+n+1）时误差计算说明：当保存所有参数时，可以将图片能量看作为1，保留的参数越多，误差越小。


svd应用：
1.图片压缩：即将图片矩阵进行svd分解之后，保留分量的个数，保留的越多图像质量越好。
2.极大减少算法计算复杂度。

2.逆矩阵，伪逆矩阵，最小二乘法

J关于a求偏导视频中没有讲清楚，有关矩阵求导参考：

https://blog.****.net/qq_38676868/article/details/78571397矩阵求导

N>n表示样本的个数大于一个样本的维数，此时xTx一般是可逆的。此种情况对应的解a为最小二乘解。
N<n此种情况对应的解为最小范数解。
注意岭回归定义和正定的证明过程。




PCA的思想转化为条件极值求最大的特征向量。

PCA算法python代码实现参考：

https://blog.****.net/bon_mot/article/details/76889559点击此处