清华大学公开课线性代数2——第3讲：奇异值分解

此博客停止更新迁移至SnailDove’s Blog，查看本文点击此处

笔记源自：清华大学公开课：线性代数2——第3讲：奇异值分解

提示：如果文中图片看不清文字，请右键单击鼠标，选择在新窗口打开图片，然后放大图片（这边上传之前都是可以看清的，由于网页正文部分大小固定，因此图片被自动缩小以便适配网页），截图部分是课堂ppt老师随手的板书。

目录

前言

对角矩阵是我们最喜欢的一类矩阵，对能够相似于对角阵的矩阵能方便地计算其幂和指数，对不能相似于对角阵的方阵。上节课我们讨论了如何求出其尽可能简单的相似标准形及Jordan标准形以上讨论的都是方阵。那么对m乘n的矩阵我们如何来对它进行对角化呢？

线性代数中最重要的一类矩阵分解即奇异值分解，从而回答以上的问题。对角矩阵是我们最喜欢的一类矩阵，因为给定一个对角阵立即就可以得到它的特征值，行列式，幂和指数函数等等。对角矩阵的运算跟我们熟悉的数的运算有很多相似之处，而一个n阶的矩阵相似于对角阵当且仅当它存在着n个线性无关的特征向量。

特别地，实对称矩阵一定会正交相似于对角阵，也就是说给你一个实对称矩阵，一定存在着正交矩阵Q$Q$把它的列向量记成v1$v_1$到vn$v_n$，它能够满足QTAQ$Q^{T}AQ$等于λ$\lambda$，λ$\lambda$是一个对角阵，它的对角元是A$A$的特征值，那么其中Q$Q$的列向量vi$v_i$，它是矩阵A$A$的属于特征值，λi${\lambda }_i$的特征向量，也就是满足Avi$A{v}_i$等于λivi${\lambda }_i{v}_i$。我们现在有个问题是说，如果对于m×n$m\times n$的一个矩阵，我们如何来”对角化”它。那么也就是说在什么意义上，我们能够尽可能地。把m×n$m\times n$的一个矩形的阵向对角阵靠拢，今天我们来讨论矩阵的奇异值分解它是线性代数应用中，最重要的一类矩阵分解。

AAT$A{A}^T$与ATA$A^{T}A$的特性

AAT$A{A}^T$与ATA$A^{T}A$的特征值

AAT$A{A}^T$与ATA$A^{T}A$非0特征值集合

ATA$A^{T}A$与AAT$A{A}^T$的特征向量

令ui:=Aviσi∈Rm(1≤i≤r)$u_i:=\frac{A{v}_i}{{\sigma }_i}\in R^m(1\le i\le r)$，则 AATui=A(ATAviσi)=AATAviσi=Aσi2viσi=σi2Aviσi=σi2ui$A{A}^T{u}_i=A(A^T\frac{A{v}_i}{{\sigma }_i})=A\frac{A^{T}A{v}_i}{{\sigma }_i}=A\frac{{{\sigma }_i}^2{v}_i}{{\sigma }_i}={{\sigma }_i}^2\frac{A{v}_i}{{\sigma }_i}={{\sigma }_i}^2{u}_i$，得出：AATui=σi2ui$A{A}^T{u}_i={{\sigma }_i}^2{u}_i$。又因为：uiTuj=AviTσiAvjσj=viT(ATAvj)σiσj=σj2viTvjσiσj=σjσiviTvj→uiTuj={0,1,i≠ji=j${u_i}^T{u}_j=\frac{{A{v}_i}^T}{{\sigma }_i}\frac{A{v}_j}{{\sigma }_j}=\frac{{v_i}^T(A^{T}A{v}_j)}{{\sigma }_i{\sigma }_j}=\frac{{{\sigma }_j}^2{v_i}^T{v}_j}{{\sigma }_i{\sigma }_j}=\frac{{\sigma }_j}{{\sigma }_i}{v_i}^T{v}_j\to {u_i}^T{u}_j=\{\begin{array}{ll}0,& i\ne j\\ 1,& i=j\end{array}$故：{ui|1≤i≤r}$\{u_i|1\le i\le r\}$ 是AAT$A{A}^T$的单位正交特征向量。

根据假设（v1,...,vn$v_1,...,v_n$是ATA$A^{T}A$的单位交基，σ21,...,σ2n${\sigma }_1^2,...,{\sigma }_n^2$是AAT$A{A}^T$的特征值）得：ATAvi=σ2ivi(1≤i≤r)→vTiATAvi=vTiσ2ivi=σ2ivTivi→||Avi||2=σ2i→|Avi|=σi$A^{T}A{v}_i={\sigma }_i^2{v}_i(1\le i\le r)\to v_i^T{A}^{T}A{v}_i=v_i^T{\sigma }_i^2{v}_i={\sigma }_i^2{v}_i^T{v}_i\to ||A{v}_i|{|}^2={\sigma }_i^2\to |A{v}_i|={\sigma }_i$

从AAT$A{A}^T$得出SVD

(1)ui:=Aviσi∈Rm(1≤i≤r)→Avi=σiui(2)ATAvi=σi2vi,(i≤i≤r)→ATAviσi=σivi→ATui=σivi$$\begin{gathered} (1)u_i:=\frac{A{v}_i}{{\sigma }_i}\in R^m(1\le i\le r)\to A{v}_i={\sigma }_i{u}_i \\ (2)A^{T}A{v}_i={{\sigma }_i}^2{v}_i,(i\le i\le r)\to A^T\frac{A{v}_i}{{\sigma }_i}={\sigma }_i{v}_i\to A^T{u}_i={\sigma }_i{v}_i \end{gathered}$$

由上式子得：U$U$是A$A$列空间的一组单位正交基，V$V$是AT$A^T$的列空间的一组单位正交基。σi${\sigma }_i$是Avi$A{v}_i$的长度，计⎛⎝⎜⎜⎜⎜⎜⎜σ1...σr⎞⎠⎟⎟⎟⎟⎟⎟$\left(\begin{array}{ccccc}{\sigma }_1& & & & \\ & .& & & \\ & & .& & \\ & & & .& \\ & & & & {\sigma }_r\end{array}\right)$为Σ$\mathrm{\Sigma }$，得：Am×nVn×r=Um×rΣr×r→Am×n=Um×rΣr×rV−1r×n=Um×rΣr×rVTr×n$$\begin{gathered} A_{m\times n}{V}_{n\times r}=U_{m\times r}{\mathrm{\Sigma }}_{r\times r}\to A_{m\times n}=U_{m\times r}{\mathrm{\Sigma }}_{r\times r}{V^{-1}}_{r\times n} \\ =U_{m\times r}{\mathrm{\Sigma }}_{r\times r}{V^T}_{r\times n} \end{gathered}$$

向量形式：A=∑ri=1σiuiviT$A=\sum _{i=1}^r{\sigma }_i{u}_i{v_i}^T$

SVD形式

例题

求u3$u_3$两种方法：

方法1：AATu3=⎛⎝⎜10101−1⎞⎠⎟(10011−1)u3=⎛⎝⎜10101−11−12⎞⎠⎟u3=0u3→u3=13√⎛⎝⎜1−1−1⎞⎠⎟$A{A}^T{u}_3=\left(\begin{array}{cc}1& 0\\ 0& 1\\ 1& -1\end{array}\right)\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& -1\end{array}\right)u_3=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& -1\\ 1& -1& 2\end{array}\right)u_3=0u_3\to u_3=\frac{1}{\sqrt{3}}\left(\begin{array}{c}1\\ -1\\ -1\end{array}\right)$

方法2：uj:=⎛⎝⎜xyz⎞⎠⎟,∑r=3i=1uiuj=0(i≠j),||uj||2=1→uj=3=13√⎛⎝⎜1−1−1⎞⎠⎟$u_j:=\left(\begin{array}{c}x\\ y\\ z\end{array}\right),\sum _{i=1}^{r=3}{u}_i{u}_j=0(i\ne j),||u_j|{|}^2=1\to u_{j=3}=\frac{1}{\sqrt{3}}\left(\begin{array}{c}1\\ -1\\ -1\end{array}\right)$

svd几何意义

svd应用

svd与矩阵的四个基本子空间

svd与图像压缩

奇异值与特征值关系

奇异值与奇异矩阵