最小二乘的几何解释

      近日学到了矩阵论老师对最小二乘的几何解释，有一种让人眼前一亮的感觉，特开此篇记录一下。在SLAM中也大量的运用最小二乘，有的利用矩阵分解直接求解，有的利用迭代优化的方式求解，忙完这一阵过后。把矩阵分解的先关数学知识也做一下整理，希望对SLAM的后端有更一步的认识。

1.投影与投影映射

      假设$S,T$S,T是$n-$n−维酉（欧氏）空间$V$V的子集，且$V=S \oplus T$V=S⊕T，其中$\oplus$⊕代表$S,V$S,V构成直和关系且$S,V$S,V构成全空间$V$V($V = S + V$V=S+V)。对与$\forall \alpha \in V$∀α∈V，可唯一的表示为：
$\alpha = x + y, x\in S, y \in T$α=x+y,x∈S,y∈T

      称$x$x是$\alpha$α沿$T$T在$S$S上的投影，$y$y是$\alpha$α沿$S$S在$T$T上的投影，也称$\mathcal{T}_{S,T}:V \rightarrow S$TS,T​:V→S是$V$V沿着$T$T至$S$S的投影映射。

值得注意的是：

1. 上式的分解是唯一的，这种唯一性是由直和决定的。所谓直和关系，即空间$S \cap T = \{0\}$S∩T={0}，可以理解为构成$S,T$S,T这两个空间的基底是线性无关的。

2. 投影映射是线性映射，对与一个投影映射$\mathcal{T}_{S,T}$TS,T​存在一个矩阵表示$A$A，并且$A^2 = A$A2=A，即投影映射的矩阵表示一定是一个幂等矩阵。

唯一性的简单证明：

      当上式中的$S \perp T$S⊥T时，称这个投影映射为正交映射。正交映射有很多优良的性质，当为正交映射时，$T$T空间中的任意向量与$S$S空间中的任意向量是正交的，即$T$T空间中的任意向量与$S$S空间的基底是正交的。

      然鹅，正交投影和最小二乘又有什么关系呢？这要说明一下勾股定理，没错，你没看错！

2.高维空间的勾股定理

      对于二维空间，我们知道三角形的斜边的平方等于两个直角边的平方和。但是这种关系在高维空间中是否还如此优美呢？

      这里我们要先明确一下长度的概念，向量的长度是通过内积定义的即$||\alpha||= \sqrt{<\alpha,\alpha>}=\sqrt{\alpha^H \alpha}$∣∣α∣∣=<α,α>​=αHα​。现在假设在欧氏空间$Vn(R)$Vn(R)中，有$a,b$a,b两个向量，那么$||a-b||^2=?||a||^2+||b||^2$∣∣a−b∣∣2=?∣∣a∣∣2+∣∣b∣∣2成立吗？

我们计算一下长度不就可以解决了：

      这似乎是差了一点东西啊，那为什么在二维空间中成立呢，因为它是直角三角形啊，$a,b$a,b是垂直的，也就是正交的$<a,b> = <b,a> = 0$<a,b>=<b,a>=0。若是在高维空间中也有这种关系，那勾股定理也就成立了，任意在$S$S空间中取$a$a向量，在$T$T空间中取一个$b$b向量，这不天然满足正交要求吗，高维勾股定理不就天然成立了，这也是正交分解的一个美妙啊。

3.最小二乘

      啰嗦了半天，重于到重点了，先放一张镇楼图.

      最小二乘问题，举个例子，就是对全空间$V$V中的向量$\alpha$α，在$V$V的子空间$W$W中找到一个$\beta$β,使它与$\alpha$α最像，即$||\alpha-\beta||_{min}$∣∣α−β∣∣min​。

      子空间是线性子空间的简称，它是$V$V的一个非空子集，并且满足线性空间的封闭性。假设$\alpha_1,\alpha_2,...\alpha_s$α1​,α2​,...αs​是$V$V中的一组向量，那么非空集合$span\{\alpha_1,\alpha_2,...\alpha_s\}=\{\alpha_1k_1+\alpha_2k_2+...+\alpha_sk_s\}$span{α1​,α2​,...αs​}={α1​k1​+α2​k2​+...+αs​ks​}构成了线性空间$V$V的一个子空间，而且这里的$k_i$ki​不做要求，可以全是零。至于为什么是在子空间中寻找，我们通过后面的例子来说明。

      上述的重点是$||\alpha-\beta||$∣∣α−β∣∣什么时候取到最小呢，如上图所示，我们可以直观的感受到当向量$\alpha-\beta$α−β与$W$W平面垂直时，它的长度是最小的。那么对应的与$\alpha$α最像的$\beta$β不就是向量$\alpha$α在$W$W空间上的正交投影吗。用向量的语言来描述一哈，就是$\forall \beta \in W$∀β∈W,当且仅当$\alpha-\beta \perp W$α−β⊥W时，$||\alpha -\beta||$∣∣α−β∣∣是最小的。不妨来证明一下在$n$n维度空间他是成立的：

这说明$\alpha$α的正交投影就是他的最小二乘解。

4.如何求解

      我们知道$||\alpha-\beta||$∣∣α−β∣∣取得最小的条件了，那求解$\beta$β也就变得容易了。

选$W$W空间的一组基$\phi=[\alpha_1,\alpha_2,...\alpha_m]$ϕ=[α1​,α2​,...αm​]，在$W$W空间中的任意一个向量可以表示为$\beta = [\alpha_1,\alpha_2,...\alpha_m]x$β=[α1​,α2​,...αm​]x。根据最小二乘的条件，$\forall \alpha \in V,当且仅当\alpha-\beta \perp W$∀α∈V,当且仅当α−β⊥W时，$\beta$β是$\alpha$α的最小二乘解。

我们前边提过，$\alpha-\beta \perp W$α−β⊥W等价于$\alpha-\beta \perp \alpha_i,i=1,2,..m$α−β⊥αi​,i=1,2,..m。于是有：

5.数据拟合

      有例子有真相，上边的理论怎么应用呢，我们来看一下数据拟合的例子：

      ​已知测量的$n$个点，$(x_1,y_1),(x_2,y_2),...(x_n,y_n)$，求做函数$y=f(x)$,达到最佳拟合效果。其中$f(x)$在一定的函数类中找，$f(x)=k_1\varphi_1(x)+k_2\varphi_2(x)+...+k_m\varphi_m(x)$（$\varphi(x)一般是线性无关的$，例如$\varphi_k(x)=x^{k-1}$）。

解：