MIT线性代数笔记-第十五讲

Projections!

aT(b−xa)=0$a^T(b-xa)=0$

xaTa=aTb$x{a}^{T}a=a^{T}b$

x=aTbaTa$x=\frac{a^{T}b}{a^{T}a}$

p=ax=aaTbaTa$p=ax=a\frac{a^{T}b}{a^{T}a}$

投影矩阵为:P=aTbaTa$P=\frac{a^{T}b}{a^{T}a}$(注意，大P，代表矩阵)

PT=P$P^T=P$
P2=P(投影两次得到的结果一样)$P^2=P(投影两次得到的结果一样)$

C(P) = line through a
rank(P) = 1

why project?

由于Ax = b不是总能解出来，但是我们可以解最接近的问题,什么是最接近的问题，答案是将b投影与A的列空间中，即求:
Ax = p(p为b投影与A的列空间的向量)

之前我们看过了将向量投影到向量的情况，现在我们看看将b投影到列空间的情况，看一个例子:

现在问题变成了:
p = Ax,找出x
解题关键是:
b - Ax与列空间正交(b - Ax实际上就是之间的e向量)

推导如下:
aT1(b−Ax)=0$a_1^T(b-Ax)=0$
aT2(b−Ax)=0$a_2^T(b-Ax)=0$

[aT1aT2](b−Ax)=[00]$\left[\begin{array}{c}{a}_1^T\\ a_2^T\end{array}\right](b-Ax)=\left[\begin{array}{c}0\\ 0\end{array}\right]$

AT(b−Ax)=0$A^T(b-Ax)=0$

ATx=ATb$A^{T}x=A^{T}b$
x=(ATA)−1ATb$x=(A^{T}A{)}^{-1}{A}^{T}b$
p=Ax=A(ATA)−1ATb$p=Ax=A(A^{T}A{)}^{-1}{A}^{T}b$
P=A(ATA)−1AT$P=A(A^{T}A{)}^{-1}{A}^T$

需要注意的有两点:
1.e=b−Ax$e=b-Ax$ 在 N(AT$A^T$)中,e与C(A)正交
2.我们在推导的时候并没有将(ATA)−1$(A^{T}A{)}^{-1}$分开，一旦分开，P = I,其实含义也很简单，当m > n时,A不可逆，所以不能分开看，当A为可逆矩阵时，P = I代表b就在列空间中(我们做这一系列的推导的原因就是A是一个”瘦长”的矩阵,m > n,所以不能分开)

投影矩阵P的性质:
1.PT=P$P^T=P$
2.P2=P$P^2=P$

Least Squares

需要解决的问题:
根据图中的点，找出一个最佳拟合直线