MIT 线性代数 Linear Algebra 8: Ax=b 非齐次线性方程组的解
这一讲我们来研究非齐次线性方程组 A x = b \bm{Ax=b} Ax=b 解的情况。
Solvability 可解性
之前我们在讲 column space 的时候已经讲过，欲使非齐次线性方程组 A x = b \bm{Ax=b} Ax=b 有解， b \bm{b} b 必须在 A \bm{A} A 的 column space C ( A ) C(\bm{A}) C(A) 中。
但是有解也分为唯一解和无穷解，所以，什么时候 A x = b \bm{Ax=b} Ax=b 有唯一解，什么时候有无穷解尼？在这一讲我们会发现，矩阵的 rank 会给出答案。
首先我们用上节课的例子重新审视一下 A x = b \bm{Ax=b} Ax=b 有解的情况。
[ 1 2 2 2 2 4 6 8 3 6 8 10 ] [ x 1 x 2 x 3 x 4 ] = [ b 1 b 2 b 3 ] \begin{bmatrix} 1 & 2 & 2 & 2 \\ 2 & 4 & 6 & 8 \\ 3 & 6 & 8 & 10 \\ \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ \end{bmatrix}=\begin{bmatrix} b_1 \\ b_2 \\ b_3 \\ \end{bmatrix} ⎣⎡1232462682810⎦⎤⎣⎢⎢⎡x1x2x3x4⎦⎥⎥⎤=⎣⎡b1b2b3⎦⎤
这个例子跟上节课唯一的不同是，我们把右侧的向量换成了非零向量。
我们考虑如下的增广矩阵 augmented matrix
[
1
2
2
2
b
1
2
4
6
8
b
2
3
6
8
10
b
3
]
\begin{bmatrix} 1 & 2 & 2 & 2 & b_1 \\ 2 & 4 & 6 & 8 & b_2 \\ 3 & 6 & 8 & 10 & b_3 \\ \end{bmatrix}
⎣⎡1232462682810b1b2b3⎦⎤
即把非零向量也放到了最后一列，之前齐次线性方程组的时候右侧是全零向量，所以不放也没关系。
初等行变换变成行阶梯型我们得到
[
1
2
2
2
b
1
0
0
2
4
b
2
−
2
b
1
0
0
0
0
b
3
−
b
2
−
b
1
]
\begin{bmatrix} 1 & 2 & 2 & 2 & b_1 \\ 0 & 0 & 2 & 4 & b_2-2b_1 \\ 0 & 0 & 0 & 0 & b_3-b_2-b_1 \\ \end{bmatrix}
⎣⎡100200220240b1b2−2b1b3−b2−b1⎦⎤
可以看出，如果想让 A x = b \bm{Ax=b} Ax=b 有解，至少要满足 b 3 − b 2 − b 1 = 0 b_3-b_2-b_1=0 b3−b2−b1=0, 即原矩阵的rank要等于增广矩阵的rank。稍后我们会发现，这也是唯一的要求。
背后的原因提前剧透一波：原矩阵的rank等于增广矩阵的rank时，我们可以把全零行扔掉。剩下来的系数矩阵行满秩，至少存在一个解。
非齐次线性方程组的解
这一小节，我们先假设非齐次线性方程组是有解的，然后研究他的解长什么样子以及怎么得出。
先抛结论: A x = b \bm{Ax=b} Ax=b 有解时，解的形式为 particular solution (特解) + A 的null space。
这个结论其实很好理解，假设特解为
x
p
\bm{x_p}
xp, 那么
A
x
p
=
b
\bm{Ax_p=b}
Axp=b
A ( x p + x n ) = b \bm{A(x_p+x_n)=b} A(xp+xn)=b
其中 x n \bm{x_n} xn 是 N ( A ) N(A) N(A) 中任意向量。
所以非齐次线性方程组有解时，他的解空间是系数矩阵的 null space 被任一个特解平移后的结果。
如果所示，我们假设系数矩阵
A
\bm{A}
A 有三列，只有一个pivot (秩为1，2个free column)，所以他的 null space 是一个三维空间的平面。那么 如果
A
x
=
b
\bm{Ax=b}
Ax=b 有解的话 (能找到一个特解)，它的解空间必然是
A
x
=
0
\bm{Ax=0}
Ax=0 的解空间平移后的结果。
下面我们用之前的例子求解
[
1
2
2
2
2
4
6
8
3
6
8
10
]
[
x
1
x
2
x
3
x
4
]
=
[
b
1
b
2
b
3
]
\begin{bmatrix} 1 & 2 & 2 & 2 \\ 2 & 4 & 6 & 8 \\ 3 & 6 & 8 & 10 \\ \end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ \end{bmatrix}=\begin{bmatrix} b_1 \\ b_2 \\ b_3 \\ \end{bmatrix}
⎣⎡1232462682810⎦⎤⎣⎢⎢⎡x1x2x3x4⎦⎥⎥⎤=⎣⎡b1b2b3⎦⎤
给定了
b
=
[
1
,
5
,
6
]
⊤
\bm{b}=[1,5,6]^\top
b=[1,5,6]⊤，带入增广矩阵有
[
1
2
2
2
∣
1
0
0
2
4
∣
3
0
0
0
0
∣
0
]
\begin{bmatrix} 1 & 2 & 2 & 2 & |~1 \\ 0 & 0 & 2 & 4 & |~3 \\ 0 & 0 & 0 & 0 & |~0 \\ \end{bmatrix}
⎣⎡100200220240∣ 1∣ 3∣ 0⎦⎤
因此 pivot columns 是1和3，2和4是 free columns。
- 找一个特解，可以让
x
2
=
x
4
=
0
x_2=x_4=0
x2=x4=0, giving
x p = [ − 2 0 3 / 2 0 ] x_p=\begin{bmatrix} -2\\ 0\\ 3/2\\ 0\\ \end{bmatrix} xp=⎣⎢⎢⎡−203/20⎦⎥⎥⎤ -
A
\bm{A}
A的null space可以直接写为
c [ − 2 1 0 0 ] + d [ 2 0 − 2 1 ] c\begin{bmatrix} -2 \\ 1 \\ 0 \\ 0 \\ \end{bmatrix}+d\begin{bmatrix} 2 \\ 0 \\ -2 \\ 1 \\ \end{bmatrix} c⎣⎢⎢⎡−2100⎦⎥⎥⎤+d⎣⎢⎢⎡20−21⎦⎥⎥⎤
因此，
A
x
=
b
\bm{Ax=b}
Ax=b 的解为
[
−
2
0
3
/
2
0
]
+
c
[
−
2
1
0
0
]
+
d
[
2
0
−
2
1
]
\begin{bmatrix} -2\\ 0\\ 3/2\\ 0\\ \end{bmatrix}+c\begin{bmatrix} -2 \\ 1 \\ 0 \\ 0 \\ \end{bmatrix}+d\begin{bmatrix} 2 \\ 0 \\ -2 \\ 1 \\ \end{bmatrix}
⎣⎢⎢⎡−203/20⎦⎥⎥⎤+c⎣⎢⎢⎡−2100⎦⎥⎥⎤+d⎣⎢⎢⎡20−21⎦⎥⎥⎤
总结
到现在为止，我们可以把非齐次方程解的情况总结一下了。我们的切入点是系数矩阵的 rank。我们之前把矩阵的 rank 定义为pivot的个数，那显然 行秩 = 列秩 且 小于 行数 or 列数。
考虑矩阵的秩 r = rank ( A m × n ) r=\text{rank}(A_{m\times n}) r=rank(Am×n)
行满秩矩阵 full row rank r = m ≤ n r=m\leq n r=m≤n
1 solution or
∞
\infty
∞ solutions
原因:
- 矮胖 (方程少于未知数个数)，有 m m m 个pivot;
- 有 m m m 个 pivot columns， n − m n-m n−m 个 free columns;
- column space 是 R m \mathbb{R}^m Rm, 所以对于任意的 b \bm{b} b 一定有解;
- null space 是 R n \mathbb{R}^n Rn 中的维度为 n − m n-m n−m 的subspace。所以解的个数取决于 null space 的大小 – 特别的，当 r = m < n r=m< n r=m<n时(不是方阵)，一定有无穷解 (因为null space至少是1维直线)。
列满秩矩阵 full column rank r = n ≤ m r=n\leq m r=n≤m
0 solution or 1 solution
原因:
- 高瘦 (方程多余未知数个数)， n n n 个 pivot columns， 没有 free columns;
- column space 是 R m \mathbb{R}^m Rm 中维度为 n n n 的subspace, 所以可能无解。
- null space 只有全零向量，所以有解的话那也只有唯一解。
满秩方阵 full rank r = m = n r = m = n r=m=n
1 solution
满秩方阵即是列满秩也是行满秩，因此解的情况是上面两种的并集，即，仅有唯一解。
行不满秩列不满秩 r < m & r < n r < m~\&~r<n r<m & r<n
0 solution or ∞ \infty ∞ solutions