清华大学公开课线性代数2——第1讲：正定矩阵

此博客停止更新迁移至SnailDove’s Blog，查看本文点击 此处
笔记源自：清华大学公开课：线性代数2——第1讲：正定矩阵，涉及：正定矩阵、二次型、合同、惯性定理、Hessian

提示：如果文中图片看不清文字，请右键单击鼠标，选择在新窗口打开图片，然后放大图片（这边上传之前都是可以看清的，由于网页正文部分大小固定，因此图片被自动缩小以便适配网页），截图部分是课堂ppt老师随手的板书。

目录

引言

矩阵特征值的正负在求解微分方程和差分方程时，会影响解是否收敛，例如上图如果λi<0${\lambda }_i<0$那么eλit$e^{{\lambda }_{i}t}$ 随着t→∞,eλit→0$t\to \mathrm{\infty },e^{{\lambda }_{i}t}\to 0$

主子式

实对称矩阵A正定的充要条件

下列6项条件，满足任意一项即可判定实对称矩阵A$A$为正定矩阵：

证明

(1)⇒(2):$(1)\Rightarrow (2):$ 对实对称矩阵A$A$，那么存在正交阵Q$Q$，使得AQ=QΛ→A=QΛQT$AQ=Q\mathrm{\Lambda }\to A=Q\mathrm{\Lambda }{Q}^T$，其中Λ=diag(λ1,...,λn)$\mathrm{\Lambda }=diag({\lambda }_1,...,{\lambda }_n)$。于是对于任意非零向量x$x$，有xTAx=xTQΛQTx=yTΛy=λ1y12+...+λnyn2>0,y=QTx=(y1,...,yn)≠0⃗ $x^{T}Ax=x^{T}Q\mathrm{\Lambda }{Q}^{T}x=y^T\mathrm{\Lambda }y={\lambda }_1{y_1}^2+...+{\lambda }_n{y_n}^2>0,y=Q^{T}x=(y_1,...,y_n)\ne \overrightarrow{0}$

(2)⇒(1):$(2)\Rightarrow (1):$ 设Ax=λx(x≠0)$Ax=\lambda x(x\ne 0)$ 则0<xTAx=xTλx=λ||x||2$0<x^{T}Ax=x^T\lambda x=\lambda ||x|{|}^2$，因此所有λi>0${\lambda }_i>0$。

(2)⇒(3):$(2)\Rightarrow (3):$ 由于行列式等于矩阵特征值的乘积，故(2)⇒(1)⇒(3)detA=λ1...λn>0$(2)\Rightarrow (1)\Rightarrow (3)detA={\lambda }_1...{\lambda }_n>0$ ：

(2)0<(xTk0)(Ak∗∗∗)(xk0)=xkTAkxk=xkT⎛⎝⎜⎜⎜⎜⎜⎜λ1...λk⎞⎠⎟⎟⎟⎟⎟⎟x,(1≤k≤n)⇒(1)λi>0,(1≤i≤k,1≤k≤n)⇒(3)detAk>0,(1≤k≤n)$$\begin{gathered} (2)0<\left(\begin{array}{cc}{x}_k^T& 0\end{array}\right)\left(\begin{array}{cc}{A}_k& \ast \\ \ast & \ast \end{array}\right)\left(\begin{array}{c}{x}_k\\ 0\end{array}\right)={x_k}^T{A}_k{x}_k={x_k}^T\left(\begin{array}{cc}{\lambda }_1& \\ & .\\ & & .\\ & & & .\\ & & & & {\lambda }_k\end{array}\right)x,(1\le k\le n) \\ \Rightarrow (1){\lambda }_i>0,(1\le i\le k,1\le k\le n)\Rightarrow (3)det{A}_k>0,(1\le k\le n) \end{gathered}$$

(3)⇒(4)$(3)\Rightarrow (4)$：顺序主子式与主元有直接联系，因为第k个主元dk=detAkdetAk−1$d_k=\frac{det{A}_k}{det{A}_{k-1}}$，所以(3)⇒(4)dk>0$(3)\Rightarrow (4)d_k>0$，其中Ak$A_k$是第k$k$个顺序主子矩阵（the k-th leading principal sub-matrix）。

(4)⇒(2)$(4)\Rightarrow (2)$：由对称矩阵的Gauss消元法得A=LDLT$A=LD{L}^T$且对角阵D=diag(d1,...dn)$D=diag(d_1,...d_n)$ 的对角元为A的主元，L$L$是下三角矩阵，LT$L^T$ 是上三角矩阵，而且根据分解结果知道L$L$的主对角线上全元素为1，也即LT$L^T$的主元全为1，即LT$L^T$行列式为1且是方阵，那么这俩都可逆。因为(4):d1,...,dn$(4):d_1,...,d_n$大于0，那么到：x≠0⇒y=LTx≠0⇒xTAx=xTLDLTx=yTDy=d1y21+...+dny2n>0$x\ne 0\Rightarrow y=L^{T}x\ne 0\Rightarrow x^{T}Ax=x^{T}LD{L}^{T}x=y^{T}Dy=d_1{y}_1^2+...+d_n{y}_n^2>0$ 。

可逆矩阵齐次方程只有零解

(2)⇒(5)$(2)\Rightarrow (5)$：A=LDLT=LD−−√D−−√LT=(D−−√LT)T(D−−√LT)$A=LD{L}^T=L\sqrt{D}\sqrt{D}{L}^T=(\sqrt{D}{L}^T{)}^T(\sqrt{D}{L}^T)$，此时可取R=D−−√LT$R=\sqrt{D}{L}^T$，因为D−−√,LT$\sqrt{D},L^T$ 都可逆且都是方阵，由于(2)⇒(3)⇒(4)$(2)\Rightarrow (3)\Rightarrow (4)$ ，因此D−−√>0$\sqrt{D}>0$，且有上面推导得|LT|>0$|L^T|>0$， 可逆矩阵乘积还是可逆。

根据行列式性质：|A||B|=|AB|$|A||B|=|AB|$, 当A,B$A,B$ 均可逆，那么|A|>0,|B|>0→|AB|>0$|A|>0,|B|>0\to |AB|>0$, 所以AB$AB$也可逆。

或者：A=QΛQT=QΛ−−√Λ−−√QT=(Λ−−√QT)(Λ−−√QT)$A=Q\mathrm{\Lambda }{Q}^T=Q\sqrt{\mathrm{\Lambda }}\sqrt{\mathrm{\Lambda }}{Q}^T=(\sqrt{\mathrm{\Lambda }}{Q}^T)(\sqrt{\mathrm{\Lambda }}{Q}^T)$，此时可取 R=Λ−−√QT$R=\sqrt{\mathrm{\Lambda }}{Q}^T$ ，同理可得。

(5)⇒(2)$(5)\Rightarrow (2)$：A=RTR⇒xTAx=xTRTRx=(Rx)TRx=||Rx||2≥0$A=R^{T}R\Rightarrow x^{T}Ax=x^T{R}^{T}Rx=(Rx{)}^{T}Rx=||Rx|{|}^2\ge 0$且R$R$是列满秩，除了x=0$x=0$之外，其余 xTAx=||Rx||2>0$x^{T}Ax=||Rx|{|}^2>0$，即(5)⇒(2)$(5)\Rightarrow (2)$

(6)⇐⇒(2)$(6)\Leftarrow \Rightarrow (2)$:

典型例子

正定矩阵的性质

如果A,B$A,B$是正定矩阵，那么A+B$A+B$也是正定矩阵

如果A$A$为正定矩阵，则存在矩阵C$C$，满足A=C2$A=C^2$

如果A$A$为正定矩阵，则矩阵A$A$的幂也是正定的

如果A$A$为正定矩阵，矩阵C$C$，那么B=CTAC$B=C^{T}AC$也是正定的

注：其实B称为A的合同矩阵

半正定矩阵的判别条件

二次型

定义

注意：这里证明里面 A−AT2$\frac{A-A^T}{2}$ 是反对称矩阵，利用反对称矩阵性质，所以 xTA−AT2x=0$x^T\frac{A-A^T}{2}x=0$ 。二次型与判定正定矩阵的第二条准则密切相关。

例子

对角形

二次型化成对角形

注：由于实对称矩阵A$A$可以与二次型一一对应，因此，可以借助实对称矩阵研究二次型。

主轴定理principal axis theorem

有心二次型central_conic

三维空间中的二次曲面-6类基本的二次曲面

R3$R^3$种的二次曲面的方程形如:
a11x2+a22y2+a33z2+2a12xy+2a13xz+2a23yz+b1x+b2y+b3z+c=0$a_{11}{x}^2+a_{22}{y}^2+a_{33}{z}^2+2a_{12}xy+2a_{13}xz+2a_{23}yz+b_{1}x+b_{2}y+b_{3}z+c=0$.

注：由于二次型可以与实对称对称矩阵一一对应，二次型里面又包括二次曲面，所以实对称矩阵可以跟二次曲面对应起来。

二次型的分类

二次型与特征值

二次型的一个应用——求二次型的几何形状

把二次型的部分去化成对角形的标准型，相应的这个一次项也作了变换，于是再做配方然后去跟基本的形状做比较得出这个曲面的几何形状，这是二次型的一个应用。

合同congruent

前言

注：非退化矩阵即满秩矩阵

定义

例子

主轴定理与合同

合同的性质

证明:
矩阵A$A$左乘可逆矩阵CT$C^T$相当于做初等行变换，右乘以可逆矩阵C$C$相当于做初等列变换，因此根据消元法知道并不改变矩阵A$A$的秩。对称性保持证明在于二次型定义可以看到。

1.利用初等变换不改变矩阵的秩，因为可逆矩阵可以表示为初等矩阵的乘积，而A乘初等矩阵相当于对A作初等变换，所以A的秩不变-。这个方法包括了可逆矩阵左乘A，右乘A，或是左右同时乘A
2.利用 r(AB)

惯性定理Sylvester’s law of inertia的证明

惯性定理的应用

正负定矩阵在函数极值中的应用

以二元函数f(x,y)$f(x,y)$为例：设(x0,y0)$(x_0,y_0)$是二元函数f(x,y)$f(x,y)$的一个稳定点，即：∂f∂x(x0,y0)=∂f∂y(x0,y0)=0$\frac{\mathrm{\partial }f}{\mathrm{\partial }x}(x_0,y_0)=\frac{\mathrm{\partial }f}{\mathrm{\partial }y}(x_0,y_0)=0$。如果f(x,y)$f(x,y)$在(x0,y0)$(x_0,y_0)$的领域里有三阶偏导数，则f(x,y)$f(x,y)$在(x0,y0)$(x_0,y_0)$可展开成Talor级数：

黑塞Hessian矩阵

黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。