清华大学公开课线性代数2——第6讲：伪逆

此博客停止更新，迁移至SnailDove’s blog，查看本文请点击此处

笔记源自：清华大学公开课：线性代数2——第6讲：伪逆

提示：如果文中图片看不清文字，请右键单击鼠标，选择在新窗口打开图片，然后放大图片（这边上传之前都是可以看清的，由于网页正文部分大小固定，因此图片被自动缩小以便适配网页），截图部分是课堂ppt老师随手的板书。

目录

引言

本文基础：SVD分解原理

矩阵的奇异值分解可以理解成从Rn$R^n$到Rm$R^m$的线性变换在不同基底下矩阵表示，接下来利用矩阵的奇异值分解
来定义矩阵的伪逆，然后再利用矩阵的伪逆来讨论线性方程组Ax＝b无解时的最小二乘解，线性代数的中心问题是
求解线性方程组Ax=b$Ax=b$，最简单的情况是如果系数矩阵A是n阶的可逆矩阵，那么这时对于任意的n维向量b$b$，线性方程组Ax=b$Ax=b$有唯一的解，这个解是A−1b$A^{-1}b$，那这就启发去对于不可逆的矩阵或者是对于Am×n$A_{m\times n}$的矩阵，我们来定义它的一个逆矩阵，那么这时候逆矩阵我们叫做伪逆或者是叫广义逆 。

定义

伪逆的定义来自于奇异值分解：

(1)若A$A$可逆，即r=m=n$r=m=n$，则：A−1=(UΣVT)−1=VΣ−1UT=A+$A^{-1}=(U\mathrm{\Sigma }{V}^T{)}^{-1}=V{\mathrm{\Sigma }}^{-1}{U}^T=A^{+}$，注意：由奇异值分解公式 AV=UΣ, (v1...vr)∈C(AT), (vr+1...vn)∈N(A), (u1...ur)∈C(A), (ur+1...um)∈N(AT)$AV=U\mathrm{\Sigma },(v_1...v_r)\in C(A^T),(v_{r+1}...v_n)\in N(A),(u_1...u_r)\in C(A),(u_{r+1}...u_m)\in N(A^T)$ 得：AV=UΣ:C(AT)→C(A)$AV=U\mathrm{\Sigma }:C(A^T)\to C(A)$，同理可得：A+UT=VΣ+:C(A)→C(AT)$A^{+}{U}^T=V{\mathrm{\Sigma }}^{+}:C(A)\to C(A^T)$

(2)AA+=(UΣm×nVT)(VΣ+n×mUT)=UΣm×nΣ+n×mUT=U(Ir000)m×mUT$A{A}^{+}=(U{\mathrm{\Sigma }}_{m\times n}{V}^T)(V{\mathrm{\Sigma }}_{n\times m}^{+}{U}^T)=U{\mathrm{\Sigma }}_{m\times n}{\mathrm{\Sigma }}_{n\times m}^{+}{U}^T=U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^T$ 得出以下3个性质：

• 对称性：(AA+)T=AA+$(A{A}^{+}{)}^T=A{A}^{+}$
• AA+=u1uT1+...+uruTr,U=(u1,...ur,ur+1...,un)$A{A}^{+}=u_1{u}_1^T+...+u_r{u}_r^T,U=(u_1,...u_r,u_{r+1}...,u_n)$
• AA+=Rm$A{A}^{+}=R^m$到C(A)$C(A)$的正交投影矩阵，AA+|C(A)=id,AA+|N(AT)=0$A{A}^{+}{|}_{C(A)}=id,A{A}^{+}{|}_{N(A^T)}=0$
  
  • 证明1：AA+x=(u1uT1+...+uruTr)x=(uT1x)u1+...+(uTrx)ur$A{A}^{+}x=(u_1{u}_1^T+...+u_r{u}_r^T)x=(u_1^{T}x)u_1+...+(u_r^{T}x)u_r$，由奇异值svd分解得到V=(v1,...,vr)$V=(v_1,...,v_r)$是AT$A^T$列空间（即C(AT)$C(A^T)$）的单位正交特征向量基，而U=(u1,...,ur)$U=(u_1,...,u_r)$是C(A)$C(A)$的单位正交特征向量基，所以AA+$A{A}^{+}$是投影到C(A)$C(A)$的正交投影矩阵（即保留了C(A)$C(A)$的部分），因此AA+$A{A}^{+}$限制在C(A)$C(A)$的变换即变成了恒等变换。而U$U$中(ur+1...um)$(u_{r+1}...u_m)$和UT$U^T$中(ur+1...um)T$(u_{r+1}...u_m{)}^T$即属于N(AT)$N(A^T)$的基乘以矩阵(Ir000)m×m${\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}$中右下角的0$0$相当于对属于N(AT)$N(A^T)$的部分做了零变换。
  • 证明2：A+uj=1σjvj⇒AA+uj=A(1σjvj)=1σjAvj$A^{+}{u}_j=\frac{1}{{\sigma }_j}{v}_j\Rightarrow A{A}^{+}{u}_j=A(\frac{1}{{\sigma }_j}{v}_j)=\frac{1}{{\sigma }_j}A{v}_j$ 再根据奇异值分解中Avj=σuj,(1≤j≤r)$A{v}_j=\sigma u_j,(1\le j\le r)$ 得AA+uj=uj(1≤j≤r), AA+uj=0(r+1≤j≤m)$A{A}^{+}{u}_j=u_j(1\le j\le r),A{A}^{+}{u}_j=0(r+1\le j\le m)$
  • 验证：(AA+)(AA+)=U(Ir000)m×mUTU(Ir000)m×mUT$(A{A}^{+})(A{A}^{+})=U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^{T}U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^T$，由于从svd分解知道U$U$是单位正交特征向量基 ，因此：UT=U−1⇒(AA+)(AA+)=U(Ir000)m×mUT=AA+$U^T=U^{-1}\Rightarrow (A{A}^{+})(A{A}^{+})=U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^T=A{A}^{+}$，这正是投影的性质：多次投影结果还是第一次投影结果。
  • 结果：∀ p∈Rm,b=p+e,p∈C(A),e∈N(AT),AA+b=p$\mathrm{\forall }p\in R^m,b=p+e,p\in C(A),e\in N(A^T),A{A}^{+}b=p$

(3)A+A=(VΣ+n×mUT)(UΣm×nVT)=V(Ir000)n×nVT$A^{+}A=(V{\mathrm{\Sigma }}_{n\times m}^{+}{U}^T)(U{\mathrm{\Sigma }}_{m\times n}{V}^T)=V{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{n\times n}{V}^T$ 得到以下三个性质（证明同上）：

• (A+A)T=A+A$(A^{+}A{)}^T=A^{+}A$
• A+A=v1vT1+...+vrvTr$A^{+}A=v_1{v}_1^T+...+v_r{v}_r^T$
• A+A=Rn$A^{+}A=R^n$到C(AT)$C(A^T)$的正交投影矩阵（A+A|C(AT)=id,A+A|N(A)=0$A^{+}A{|}_{C(A^T)}=id,A^{+}A{|}_{N(A)}=0$）:
  
  • ∀ x∈Rn=C(AT)⨁N(A)), x=x1,r+xr+1,n, x1,r∈C(AT), xr+1,n∈N(AT),A+Ax=A+A(x1,...xr,xr+1,...xn)=x1,r$$\begin{gathered} \mathrm{\forall }x\in R^n=C(A^T)⨁N(A)),x=x_{1,r}+x_{r+1,n},x_{1,r}\in C(A^T),x_{r+1,n}\in N(A^T), \\ {A}^{+}Ax=A^{+}A(x_1,...x_r,x_{r+1},...x_n)=x_{1,r} \end{gathered}$$

为什么称为伪逆、左逆、右逆

例子

注：u1,u2,u3$u_1,u_2,u_3$ 是Rm$R^m$的一组基底那么它是Av1σ1$\frac{A{v}_1}{{\sigma }_1}$，那么很容易计算出来，是12√⎛⎝⎜110⎞⎠⎟$\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right)$那u2$u_2$和u3$u_3$ 分别是0所对应的特征向量，u2$u_2$和u3$u_3$可以看成是三维空间里头，u1$u_1$的正交补所给出来的单位正交的向量。

特例

Jordan标准形的伪逆

推导结论：J+n=JTn$J_n^{+}=J_n^T$，Jordan标准形的伪逆是它自己的转置。

Moore-Penrose伪逆

E.H.Moore伪逆

Penrose伪逆

注：
1. A可以是mxn的复数矩阵，这样的话(3)(4)里面就变成共轭转置。
2. Penrose伪逆与E.H.Moore伪逆定义是等价的。

(1)AXA=A⇒AXAX=AX⇒(AX)N=AX⇒AX$(1)AXA=A\Rightarrow AXAX=AX\Rightarrow (AX{)}^N=AX\Rightarrow AX$ 是幂等矩阵，投影矩阵
(2)XAX=X⇒XAXA=XA⇒(XA)N=XA⇒XA$(2)XAX=X\Rightarrow XAXA=XA\Rightarrow (XA{)}^N=XA\Rightarrow XA$ 是幂等矩阵，投影矩阵
(3)(AX)T=AX⇒AX$(3)(AX{)}^T=AX\Rightarrow AX$ 是对称矩阵
(4)(XA)T=XA⇒XA$(4)(XA{)}^T=XA\Rightarrow XA$ 是对称矩阵

通过奇异值分解得到的伪逆矩阵A+$A^{+}$，AA+:Rm→C(A)$A{A}^{+}:R^m\to C(A)$，A+A:Rn→C(AT)=C(A+)$A^{+}A:R^n\to C(A^T)=C(A^{+})$，前文已经证明两者都是对称的，所以符合Penrose对伪逆矩阵的定义。对于伪逆唯一性的证明上文图片太小可以放大来看。

伪逆的应用之最小二乘法

引言

但是我们需要求e$e$ 即误差最小的解！但是这时候Am×n$A_{m\times n}$不是列满秩不存在逆矩阵，于是自然地想到利用伪逆求解。

伪逆求解正规方程——最佳最小二乘解

注：由于A+$A^{+}$ 来自于：A+UT=VΣ+, (v1...vr)∈C(AT), (vr+1...vn)∈N(A), (u1...ur)∈C(A), (ur+1...um)∈N(AT),Σ+=⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜1σ11σ2..1σr0⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟n×m⇒A+:C(A)→C(AT)$$\begin{gathered} A^{+}{U}^T=V{\mathrm{\Sigma }}^{+},(v_1...v_r)\in C(A^T),(v_{r+1}...v_n)\in N(A),(u_1...u_r)\in C(A),(u_{r+1}...u_m)\in N(A^T), \\ {\mathrm{\Sigma }}^{+}={\left(\begin{array}{c}\frac{1}{{\sigma }_1}\\ & \frac{1}{{\sigma }_2}\\ & & .\\ & & & .\\ & & & & \frac{1}{{\sigma }_r}\\ & & & & & 0\end{array}\right)}_{n\times m}\Rightarrow A^{+}:C(A)\to C(A^T) \end{gathered}$$，另外由于 ATAx=0,Ax=0$A^{T}Ax=0,Ax=0$ 同解所以零空间相同。

最佳最小二乘解的四个基本子空间