MIT线性代数公开课笔记 第一章 线性方程的几何表示

在看了Gilbert Strang的MIT线性代数公开课后，参考他在MIT Linear Algebra课程网站上公开分享的 lecture summary (PDF) & Lecture video transcript (PDF)等文档，整理笔记如下，笔记中的大部分内容是从MIT Linear Algebra课程网站上的资料中直接粘贴过来，本人只是将该课程视频中讲述的内容整理为文字形式，后续会按照视频顺序不断更新~

lecture 1 The geometry of linear equations

The geometry of linear equations

The fundamental problem of linear algebra, which is to solve a system of linear equations（线性方程组）。从$n$n个方程，$n$n 个未知数个数讲起，In this first lecture on linear algebra we view this problem in three ways.
  1） Row picture：the picture of one equation at a time （矩阵的行）
  2）Column picture （矩阵的列）
  3）Matrix form

For example: 二维
$2x-y=0 \\ -x+2y=3$2x−y=0−x+2y=3
1）Matrix form：
$\left[ \begin{matrix} 2& -1\\ -1& 2 \end{matrix} \right ] \left[ \begin{matrix} x\\ y\\ \end{matrix} \right ] =\left[ \begin{matrix} 0\\ 3 \end{matrix} \right ]$[2−1​−12​][xy​]=[03​]
    系数矩阵：$A= \left[ \begin{matrix} 2& -1\\ -1& 2 \end{matrix} \right ]$A=[2−1​−12​],
    未知数矢量：$X=\left[\begin{matrix} x \\ y \end{matrix}\right ]$X=[xy​] ,$b=\left[\begin{matrix} 0 \\ 3 \end{matrix} \right ]$b=[03​] , 则线性方程组为$AX=b$AX=b.

2） Row picture：
  一次取一行，作图与xy平面，Plot the points that satisfy each equation，即分别为满足$2x-y=0$2x−y=0和$-x+2y=3$−x+2y=3的直线。The intersection of the plots (if they do intersect) represents the solution to the system of equations. Looking at Figure 1 we see that the solution to this system of equations is $x = 1, y = 2$x=1,y=2.

3）Column Picture
  将两个方程放到一起考虑
$x\left[ \begin{matrix} 2\\ -1 \end{matrix} \right]+ y\left[ \begin{matrix} -1\\ 2\\ \end{matrix} \right] =\left[ \begin{matrix} 0\\ 3 \end{matrix} \right ]$x[2−1​]+y[−12​]=[03​]
  即寻找正确的线性组合 （Linear combinations of columns）
将列向量画出来，再进行线性组合（x和y的所有线性组合可以构成整个平面）
For example: 三维
$2x-y=0\\ -x+2y-z=-1\\ -3y+4z=4$2x−y=0−x+2y−z=−1−3y+4z=4
1）Matrix form：
$A= \left[ \begin{matrix} 2&-1&0\\ -1&2&-1\\ 0&-3&4 \end{matrix} \right ]，b=\left[\begin{matrix} 0\\ -1\\ 4\end{matrix}\right ]$A=⎣⎡​2−10​−12−3​0−14​⎦⎤​，b=⎣⎡​0−14​⎦⎤​
2） Row picture：
    每个方程确定一个平面，两个平面交于一条直线，三个平面相交于一个点，这个点就是解。

3）Column Picture
$x\left[ \begin{matrix} 2\\ -1\\ 0 \end{matrix} \right ] + y \left[ \begin{matrix} -1\\ 2 \\ -3 \end{matrix} \right ] + z \left[ \begin{matrix} 0\\ -1\\ 4 \end{matrix} \right ]= \left[ \begin{matrix} 0\\ -1\\ 4 \end{matrix} \right]$x⎣⎡​2−10​⎦⎤​+y⎣⎡​−12−3​⎦⎤​+z⎣⎡​0−14​⎦⎤​=⎣⎡​0−14​⎦⎤​
    解为：$x=0,y=0,z=1$x=0,y=0,z=1

4）big picture：保持左侧矩阵不变，然后考虑不同的右侧向量
$x \left[ \begin{matrix} 2\\ -1\\ 0 \end{matrix} \right ] + y \left[ \begin{matrix} -1\\ 2 \\ -3 \end{matrix} \right ] + z \left[ \begin{matrix} 0\\ -1\\ 4 \end{matrix} \right ]= \left[ \begin{matrix} 1\\ 1\\ -3 \end{matrix} \right ]$x⎣⎡​2−10​⎦⎤​+y⎣⎡​−12−3​⎦⎤​+z⎣⎡​0−14​⎦⎤​=⎣⎡​11−3​⎦⎤​
    解为：$x=1,y=1,z=0$x=1,y=1,z=0

Linear Independence

若考虑所有的右侧向量，是否每一个方程都可以求解？

此问题等价于代数问题：对于任意$b$b，是否能求解$Ax=b$Ax=b？ （Can I solve $Ax=b$Ax=b for every $b$b? ）
等价于线性组合说法：Do the linear combinations of the columns fill three dimensional space? ， Every b means all the bs in three dimensional space.）

For this matrix A – for these columns, the answer is yes. This matrix is a non-singular matrix 、an invertible matrix. There could be other matrices where the answer becomes no.（如果三个列向量同处一个平面（例如列1+列2=列3），即A为奇异矩阵（非可逆矩阵），它的列向量线性相关，那么其组合肯定也在该平面上，所得到的b也必然处于这个平面以内，因此当b处于这个平面内时有解，但大部分不在平面内的b是无法构造的，即无解.

假设向量有9个分量，假设9方程、9未知数，则一共9列，每一列都是九维空间的向量，然后考虑其线性组合，则得到了九维空间中的9个向量的线性组合，是否可以总是得到b？（注：若用MATLAB取random矩阵，一定是非奇异可逆的）。若九个向量均线性独立，则可以覆盖整个九维空间，但如果恰巧第九列等于第八列，则只能覆盖九维空间中的某八维空间，最后的求解也只能在这个八维平面上展开。

Matrix Multiplication

方程组的矩阵形式， $Ax=b$Ax=b
How do we multiply a matrix $A$A by a vector $x$x?
$\left[ \begin{matrix} 2& 5\\ 1& 3 \end{matrix} \right ] \left[ \begin{matrix} 1\\ 2\\ \end{matrix} \right ] =?$[21​53​][12​]=?
Method 1: the entries of x as the coefficients of a linear combination of the column vectors of the matrix:
$\left[ \begin{matrix} 2& 5\\ 1& 3 \end{matrix} \right ] \left[ \begin{matrix} 1\\ 2\\ \end{matrix} \right ] =1 \left[ \begin{matrix} 2\\ 1\\ \end{matrix} \right ] +2 \left[ \begin{matrix} 5\\ 3\\ \end{matrix} \right ]= \left[ \begin{matrix} 12\\ 7\\ \end{matrix} \right ]$[21​53​][12​]=1[21​]+2[53​]=[127​]
 This technique shows that Ax is a linear combination of the columns of A.

Method 2: taking the dot product（点乘即内积） of each row of A with the vector x:
$\left[ \begin{matrix} 2& 5\\ 1& 3 \end{matrix} \right ] \left[ \begin{matrix} 1\\ 2\\ \end{matrix} \right ]= \left[ \begin{matrix} 2·1+5·2\\ 1·1+3·2 \end{matrix} \right ]= \left[ \begin{matrix} 12\\ 7\\ \end{matrix} \right ]$[21​53​][12​]=[2⋅1+5⋅21⋅1+3⋅2​]=[127​]
reference： lecture summary (PDF) & Lecture video transcript (PDF)