MIT线性代数笔记-第十六讲

首先回顾一下投影矩阵P:
P=A(ATA)−1AT$P=A(A^{T}A{)}^{-1}{A}^T$

两种极端的情况.
1.如果b在A的列空间中,那么Pb = b
证明:
A(ATA)−1ATAx=Ax=b$A(A^{T}A{)}^{-1}{A}^{T}Ax=Ax=b$

2.如果b垂直于列空间,那么Pb = 0
证明:
ATb=0−>A(ATA)−1ATb=0$A^{T}b=0->A(A^{T}A{)}^{-1}{A}^{T}b=0$

有一点要注意:
与投影矩阵P对应的是另一个投影矩阵e(将b投影到A的转置的零空间，其垂直于列空间),e也满足P的性质，即:
eT=e$e^T=e$
e2=e$e^2=e$

Least Squares

这是上一讲的最小方差的问题表示,如下是利用投影矩阵解决问题的步骤:

如果用微分来解决，会如何?
对上图中的e21+e22+e23$e_1^2+e_2^2+e_3^2$分别对C，D微分,得到:
2(C + D - 1) + 2(C + 2D - 2) + 2(C + 3D - 2) = 0
->3C + 6D = 5
2(C + D - 1) + 4(C + 2D - 2) + 6(C + 3D - 2) = 0
->6C + 14D = 11
可以看出，由微分得出的结果与我们用线性代数做出来的结果一致

回到之前做出来的式子:
3C+6D=5$3C+6D=5$
6C+14D=11$6C+14D=11$
得出:
D=12$D=\frac{1}{2}$
C=23$C=\frac{2}{3}$

我们重新回到第一张图，计算出e1,e2,e3:
e1=16$e1=\frac{1}{6}$
e2=−26$e2=\frac{-2}{6}$
e3=16$e3=\frac{1}{6}$

我们将e = (e1,e2,e3)这个向量换一下方向，可以得到:

这符合我们的公式，而且p和e的点积为0，相互垂直(e在A的转置的零空间中，垂直于A的列空间中的所有向量)

总结，最小方差两个核心公式；
ATAx=ATb$A^{T}Ax=A^{T}b$
p=Ax$p=Ax$

现在我们来看看ATA$A^{T}A$,由于这是我们求解Least Square的核心公式，我们必须知道它什么时候可逆，上节课的结论是:
如果A的列没有相互依赖，那么ATA$A^{T}A$可逆，那么如何证明这个结论？
证明过程如下:
假设ATAx=0$A^{T}Ax=0$,将等式两边乘以x得到:
xTATAx=0$x^T{A}^{T}Ax=0$,得到:
(Ax)T(Ax)=0$(Ax{)}^T(Ax)=0$
那么只有可能Ax = 0,但是我们的条件是A的列没有依赖，那么x只能是0，得证。