您的位置: 首页 > 文章 > 超定方程的最小二乘解的三维几何解释

超定方程的最小二乘解的三维几何解释

分类: 文章 • 2024-08-04 21:27:28

原始方程 $Ax = b$ ，解为 $x = A^{-1}b$ ，matlab描述 x = A\b
超定方程乘以 $A^T$ 变为方阵 $A^TAx = A^Tb$
列向量的形式 $A^TA$ 直接是一个数，简化计算
再把 $A^TA$ 作为一个整体除过去
$x = (A^TA)^{-1} A^Tb$

最小二乘解，向量 $b'$ 在张成的平面之外，解的满足误差最小，合成的向量是 $b'$ 在张成的投影
$A^T(b'-Ax')=0$
v 和 w 均为列向量
$A = [v,w]=\begin{bmatrix} x_1&x_2\\ y_1&y_2 \end{bmatrix}$
$A^T = \begin{bmatrix} v^T\\ w^T \end{bmatrix}=\begin{bmatrix} x_1&y_1\\ x_2&y_2 \end{bmatrix}$
向量 $v$ 和向量 $e$ 垂直
$x_1x_3+y_1y_3=0\Rightarrow[x_1,y_1]\begin{bmatrix}x_3\\ y_3\end{bmatrix}=0\Rightarrow v^T\begin{bmatrix}x_3\\ y_3\end{bmatrix}=v^Te=0$
向量 $e$ 与张成的平面垂直
$A^Te=0$

$b$ 位于张成的向量内
$k_1v+k_2w=b$
$[v,w]\begin{bmatrix} k_1\\ k_2 \end{bmatrix}=b$
在matlab里有子程序对应 $(A^TA)^{-1} A^T$ 伪逆 pinv(A)