正交向量与子空间-线性代数课时14（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第十四讲，讲解的内容是正交的概念、四个子空间的正交关系,并在四个子空间的正交关系上解释Ax=b的解在四个子空间的映射关系，更进一步理解Ax=b，另外稍微提及了当Ax=b无解的时候怎样求解？
正交概念
两个向量v和w正交意思是向量v垂直于w，那么如何判断向量v和w正交呢？在几何上可以通过判断v和w的夹角为90°，那么在线性代数里是通过计算v和w的点积：
两个向量正交 ：
那么为什么两个向量正交，它们的点积就为0呢？下面给出一个简单的证明：
假设v和w是直角三角形的直角边，那么这个直角三角形的斜边向量是v+w，根据直角三角行的特点：直角边的平方之和等于斜边的平方有：
得证。
根据判断向量正交的条件，知道有个特别的向量，它与所有的向量都正交，这个向量就是0向量。
四个子空间的正交关系
这里首先要给出一个定义，关于正交子空间。
定义：两个子空间V和W,如果V中的每个向量v和W中的每个向量w都正交，就说V和W正交.
四个基本子空间拥有很良好的正交性质，体现在：1.零空间与行空间
是
中的正交子空间；2.左零空间
与列空间
是
中的正交子空间。下面给出零空间与行空间正交的推导，因为左零空间与列空间的推导完全一样，只是将A换成
.推导：
，根据Ax=0知道A中所有行向量与x均正交，由于A的行空间是有row(1) ... row(m) 生成的，所以A行空间的所有向量均与x正交，所以A的行空间
与零空间
正交,得证。
正交补
四个基本子空间的正交关系还不仅仅是正交子空间的关系，它们在维数上还存在恰好正确的关系：dim()+dim(
) = n,
dim()+dim(
)=m，他们不仅仅只是正交关系，他们是一组正交补。正交补的定义：
定义：子空间V的正交补包含所有与子空间V正交的向量，记作.
根据定义，就是
,
就
。正交补的概念很重要，它表明
中的任何一个向量x都可以拆分为互为正交补的来给你个子空间的向量之和。以Ax=b的解x为例，x是属于
中的向量，x可以拆分为在行空间的分量
和零空间中的分量
之和，即
,Ax=b可以做如下拆解：
零空间分量：
行空间分量：
对于列空间确定的b，在行空间中有且只有1个通过矩阵A的左乘映射到列空间。证明：假设有另外的
,那么有
,那么
在A的零空间中，又因为
和
在行空间中，所以
又在A的行空间中，所以
只能是0向量，所以
，也就证明了对于确定的b，
的唯一性。下面的图完全表达了Ax=b在A四个基本子空间中的映射关系：
看懂上面这幅图很重要。
当b不在A的列空间的时候，如何求解Ax=b
当Ax=b无解的时候，如何求解Ax=b？这看起来是一个十分荒谬的问题，但实际上有很多实际应用都是求解这样的问题，比如我们对一个系统创建了一个线性模型，线性模型只有两个未知数也就是说n=2，而为了确定这个系统的数学模型我们做了100次实验得到100组实验结果，也就是说m=100，那么求解这个线性系统就是求解100个方程、2个未知数的方程的解，往往这样的Ax=b都是无解的。那这时候再数学上我们怎么办？这时候往往我们可以通过最小二乘的方法来求得最优解。看着上图，这种情况下b不在列空间中，而是在列空间和左零空间以外的区域，最小二乘的思想是将b分解成列空间中的向量p和做零空间中的向量e，将求解Ax=b变为求解Ax=p，而e是误差向量。
下面各处最小二乘求解Ax=b的公式，在16讲中会讲解它是如何来的。最小二乘求解：
最小二乘公式：
这里给出的的几个重要特点（证明在16讲）：1.
; 2.
; 3.
可逆当A的各列线性无关。
本课的内容对应《INTRODUCTION TO LINEAR ALGEBRA》4.1章节。