矩阵分解与特征值

1. Cholesky分解

(1) LDU分解

设$A=(a_{ij})$A=(aij​)是n阶矩阵，则当且仅当$A$A的顺序主子式$\Delta_k\neq0(k=1,2,...,n-1)$Δk​​=0(k=1,2,...,n−1)时，$A$A可唯一的分解为$A=LDU$A=LDU，其中$L$L为单位下三角矩阵，$U$U为单位上三角矩阵，$D$D为对角阵。

证明：对矩阵$A$A做初等行变换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵，设$PA=U_1$PA=U1​，令$D=diag(d_1,...,d_n)$D=diag(d1​,...,dn​)，其中$d_i,1\leq i\leq n$di​,1≤i≤n为$U_1$U1​的对角线元素，则存在一个单位上三角阵$U$U使得$U_1=DU$U1​=DU，令$L=P^{-1}$L=P−1仍是一个单位下三角阵，即有$A=LDU$A=LDU。

(2) Cholesky分解

设$A=(a_{ij})$A=(aij​)是n阶对称正定矩阵，则存在一个下三角矩阵$G$G，使得$A=GG'$A=GG′。

证明：$A$A是n阶对称正定矩阵，$\Delta_k>0(k=1,2,...,n)$Δk​>0(k=1,2,...,n)，有唯一的LDU分解$A=LDU$A=LDU，其中$D=diag(d_1,...,d_n)$D=diag(d1​,...,dn​)且$d_i>0(i=1,2,...,n)$di​>0(i=1,2,...,n)（事实上，$d_i=\frac{\Delta_i}{\Delta_{i-1}}$di​=Δi−1​Δi​​），令$\tilde{D}=diag(\sqrt{d_1},...,\sqrt{d_n})$D~=diag(d1​​,...,dn​​)，则有$A=L\tilde{D}^2U$A=LD~2U。
由$A'=A$A′=A得，$L\tilde{D}^2U=U'\tilde{D}^2L'$LD~2U=U′D~2L′，
再由分解的唯一性得：$L=U',U=L'$L=U′,U=L′，
令$G=L\tilde{D}$G=LD~，则$G$G为下三角阵，且有$A=L\tilde{D}^2L'=(L\tilde{D})(L\tilde{D})'=GG'$A=LD~2L′=(LD~)(LD~)′=GG′。

(3) Cholesky分解的统计应用

对任意的$k\times1$k×1维向量$\mu$μ、$k\times k$k×k维对称正定矩阵$V$V，设$V$V有Cholesky分解$V=GG'$V=GG′，则可通过以下方式产生一个服从$k$k为正态分布$\mathcal{N}(\mu,V)$N(μ,V)的$k$k维随机向量：$\xi=\mu+L\eta$ξ=μ+Lη，其中$\eta$η为服从标准正态分布的随机向量。

2. 特征值分解

对任意的$n\times n$n×n对称矩阵$A$A，$A$A具有$n$n个线性无关的特征向量，则存在一个正交阵$T$T使得$A=TDT'$A=TDT′，其中$D=diag(\lambda_1,\lambda_2,...,\lambda_n)$D=diag(λ1​,λ2​,...,λn​)，$\lambda_1,\lambda_2,...,\lambda_n$λ1​,λ2​,...,λn​为$A$A的特征值。

证明：设$A$A的对应于$\{\lambda_1,\lambda_2,...,\lambda_n\}${λ1​,λ2​,...,λn​}的$n$n个线性无关的单位特征向量$\{v^1,v^2,...,v^n\}${v1,v2,...,vn}，令$T=[v^1,v^2,...,v^n]$T=[v1,v2,...,vn]，则$T$T为正交阵，
$\begin{aligned} AT&=[Av^1,...,Av^n]\\&=[\lambda v^1,...,\lambda v_n]\\&=[v^1,...,v^n]diag(\lambda_1,\lambda_2,...,\lambda_n)\\&=Tdiag(\lambda_1,\lambda_2,...,\lambda_n) \end{aligned}$AT​=[Av1,...,Avn]=[λv1,...,λvn​]=[v1,...,vn]diag(λ1​,λ2​,...,λn​)=Tdiag(λ1​,λ2​,...,λn​)​

$A=Tdiag(\lambda_1,\lambda_2,...,\lambda_n)T^{-1}=Tdiag(\lambda_1,\lambda_2,...,\lambda_n)T'$A=Tdiag(λ1​,λ2​,...,λn​)T−1=Tdiag(λ1​,λ2​,...,λn​)T′

(1) 矩阵的幂次

对任意的非负定矩阵$A$A及数$r\in[0,1]$r∈[0,1]，可定义$A^r=Tdiag(\lambda_1^{r},...,\lambda_n^{r})T'$Ar=Tdiag(λ1r​,...,λnr​)T′。特别地，当$r=1/2$r=1/2时，$D^{1/2}=diag(\lambda_1^{1/2},...,\lambda_n^{1/2})$D1/2=diag(λ11/2​,...,λn1/2​)，称$A^{1/2}=TD^{1/2}T'$A1/2=TD1/2T′为矩阵$A$A的平方根。

(i)$(A^{1/2})^2=A$(A1/2)2=A，记$(A^{-1})^{1/2}$(A−1)1/2为$A^{-1/2}$A−1/2，有$A^{-1/2}=(A^{1/2})^{-1}$A−1/2=(A1/2)−1。
(ii)$L\ddot{o}wner-Heinz$Lo¨wner−Heinz不等式

对任意的满足$A\geq B\geq0$A≥B≥0的矩阵$A$A、$B$B，数$r\in[0,1]$r∈[0,1]，有$A^r\geq B^r$Ar≥Br。

证明：

(iii)(simultaneously diagonalizable)设有$n$n阶矩阵$A$A、$B$B，若存在正交矩阵$S$S使得$A=SDS'$A=SDS′、$B=SES'$B=SES′，则称矩阵$A$A、$B$B可同时对角化。可对角化矩阵$A$A、$B$B可交换当且仅当$A$A、$B$B可同时对角化。

证明：假设$A$A、$B$B可同时对角化，即存在正交矩阵$S$S使得$A=SDS'$A=SDS′、$B=SES'$B=SES′，
$AB=SDS'SES'=SDES'=SEDS'=SES'SDS'=BA$AB=SDS′SES′=SDES′=SEDS′=SES′SDS′=BA
假设矩阵$A$A、$B$B可交换，设$A=SDS'$A=SDS′、$B=TET'$B=TET′，令$B1=S'AS$B1=S′AS，由$A$A、$B$B可交换推知$D$D、$B_1$B1​可交换，倘若说明$D$D、$B_1$B1​可同时对角化，则可推知$A$A、$B$B可同时对角化，因此不妨假设$A$A为对角阵。

设$B=[b_{ij}]$B=[bij​]，$\lambda_1,\lambda_2,...,\lambda_n$λ1​,λ2​,...,λn​为$A$A的特征值，由$AB=BA$AB=BA知$\lambda_ib_{ij}=b_{ij}\lambda_j$λi​bij​=bij​λj​，即有$(\lambda_i-\lambda_j)b_{ij}=0$(λi​−λj​)bij​=0，进而推知当$\lambda_i\neq\lambda_j$λi​​=λj​时，$b_{ij}=0$bij​=0。设$A$A具有如下分块形式：
$A=\left[\begin{matrix} \lambda_1I_1&0&...&0\\ 0&\lambda_2I_2&...&0\\ ...&...&...&...&\\ 0&0&...&\lambda_kI_k \end{matrix}\right]$A=⎣⎢⎢⎡​λ1​I1​0...0​0λ2​I2​...0​............​00...λk​Ik​​​⎦⎥⎥⎤​
相应的$B$B具有如下形式：
$B=\left[\begin{matrix} B_1&0&...&0\\ 0&B_2&...&0\\ ...&...&...&...&\\ 0&0&...&B_k \end{matrix}\right]$B=⎣⎢⎢⎡​B1​0...0​0B2​...0​............​00...Bk​​​⎦⎥⎥⎤​
由矩阵$B$B可对角化知存在正交阵$T_i$Ti​使得$B_i=T_iE_iT'$Bi​=Ti​Ei​T′，令
$T=\left[\begin{matrix} T_1&0&...&0\\ 0&T_2&...&0\\ ...&...&...&...&\\ 0&0&...&T_k \end{matrix}\right],E=\left[\begin{matrix} E_1&0&...&0\\ 0&E_2&...&0\\ ...&...&...&...&\\ 0&0&...&E_k \end{matrix}\right]$T=⎣⎢⎢⎡​T1​0...0​0T2​...0​............​00...Tk​​​⎦⎥⎥⎤​,E=⎣⎢⎢⎡​E1​0...0​0E2​...0​............​00...Ek​​​⎦⎥⎥⎤​
则有$B=TET'$B=TET′，$A=TT'$A=TT′，即$A$A、$B$B可同时对角化。

(2) 统计应用

对任意的$k\times1$k×1维向量$\mu$μ、$k\times k$k×k维对称正定矩阵$V$V，可通过以下方式产生一个服从$k$k为正态分布$\mathcal{N}(\mu,V)$N(μ,V)的$k$k维随机向量：$\xi=\mu+V^{1/2}\eta$ξ=μ+V1/2η，其中$\eta$η为服从标准正态分布的随机向量。

3. 特征值

(1) 对任意正整数$p$p，矩阵$A^p$Ap的特征值为$\lambda_1^p,...,\lambda_n^p$λ1p​,...,λnp​；因此当$A\geq0$A≥0时，$\lambda_{max}(A^p)=\{\lambda_{max}(A)\}^p$λmax​(Ap)={λmax​(A)}p，$\lambda_{min}(A^p)=\{\lambda_{min}(A)\}^p$λmin​(Ap)={λmin​(A)}p。

(2) $tr(A)=\lambda_1+...+\lambda_n$tr(A)=λ1​+...+λn​。

(3)$|A|=\lambda_1...\lambda_n$∣A∣=λ1​...λn​。

证明：多项式$|\lambda E-A|$∣λE−A∣的常数项为$(-1)^n|A|$(−1)n∣A∣，而由多项式根与系数的关系知，多项式的常数项为$(-1)^n\lambda_1...\lambda_n$(−1)nλ1​...λn​，故得证。

(4)乘积矩阵的特征值：

(i)矩阵$A$A、$B$B均为$n$n阶方阵：

若$A$A、$B$B均为对称阵，则$|AB-\lambda E|=|(AB-\lambda E)'|=|B'A'-\lambda E|$∣AB−λE∣=∣(AB−λE)′∣=∣B′A′−λE∣，所以$AB$AB与$BA$BA有相同的特征值；

若$A$A、$B$B至少有一个矩阵可逆，不妨设$A$A可逆，则$|AB-\lambda E|=|A^{-1}||AB-\lambda E||A|=|A^{-1}(AB-\lambda E)A|=|BA-\lambda E|$∣AB−λE∣=∣A−1∣∣AB−λE∣∣A∣=∣A−1(AB−λE)A∣=∣BA−λE∣，$AB$AB与$BA$BA有相同的特征值；

若$A$A、$B$B均不可逆，


所以$|\lambda E-AB|=|\lambda E-BA|$∣λE−AB∣=∣λE−BA∣，$AB$AB与$BA$BA有相同的特征值；

(ii)矩阵$A$A、$B$B均不是方阵，设$A$A为$m\times n$m×n阶矩阵，$B$B为$n\times m$n×m阶矩阵：

(5)(Weyl’s perturbation theorem)设对称矩阵$A$A、$B$B的特征值分别为$\lambda_1\geq...\geq\lambda_k$λ1​≥...≥λk​、$\mu_1\geq...\geq\mu_k$μ1​≥...≥μk​，则有：
$\max_{1\leq i\leq k}|\lambda_i-\mu_i|\leq||A-B||$1≤i≤kmax​∣λi​−μi​∣≤∣∣A−B∣∣

Weyl’s perturbation theorem的一个应用：

设有对称矩阵序列$A_n$An​满足$||A_n-A||\rightarrow0,n\rightarrow\infty$∣∣An​−A∣∣→0,n→∞，其中$A$A为对称阵，则当$n\rightarrow\infty$n→∞时，$A_n$An​的特征值趋于$A$A的特征值。