矩阵乘法的几何理解

矩阵乘法

对于一个向量$v$v$v=[-1,2]^{T}$v=[−1,2]T当对向量$v$v乘以一个矩阵$M$M$M=\begin{bmatrix} 1 & 3 \\ -2 & 0 \end{bmatrix}$M=[1−2​30​]
即$\begin{bmatrix}1&3\\-2&0\end{bmatrix}\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}5\\2\end{bmatrix}$[1−2​30​][−12​]=[52​]
将向量$v=[-1,2]^{T}$v=[−1,2]T转化为向量$[5,2]^{T}$[5,2]T，也就是进行了线性映射。
如下图所示：

==》

在上述矩阵乘法的过程中，可以拆分为$\begin{bmatrix}1&3\\-2&0\end{bmatrix}\begin{bmatrix}-1\\2\end{bmatrix}=-1*\begin{bmatrix}1\\-2\end{bmatrix}+2*\begin{bmatrix}3\\0\end{bmatrix}=\begin{bmatrix}5\\2\end{bmatrix}$[1−2​30​][−12​]=−1∗[1−2​]+2∗[30​]=[52​]
即，可以理解为，上述矩阵对向量的乘法，相当于是将原来向量的x轴的单位向量线性映射到$[1,-2]^{T}$[1,−2]T，将原来向量的y轴的单位向量线性映射到$[3,0]^{T}$[3,0]T，经过这样转化后的在新的空间中的$[-1,2]^{T}$[−1,2]T向量在原空间就是$[5,2]^{T}$[5,2]T。
因此，可以得出如下结论

矩阵乘法，可以理解为是对线性空间的线性映射

而矩阵对矩阵的乘法，则可以理解为是矩阵对多个向量的乘法，即对多个向量的空间线性映射

特征值和特征向量

如上所述，一个矩阵对一个向量的乘法，是对该向量进行线性映射，这种映射，会对向量进行旋转变量和拉伸变换。如上述例子，向量$[-1,2]^{T}$[−1,2]T在进行矩阵乘法之后变为$[5,2]^{T}$[5,2]T，向量的方向和长度均发生了变化。但是，在该空间中是否存在这样的向量，经过该矩阵的线性映射变化之后，只发生了长度变化，而方向并没有变化呢？
即$\begin{bmatrix}1&3\\-2&0\end{bmatrix}\begin{bmatrix}-1\\2\end{bmatrix}=\lambda\begin{bmatrix}-1\\2\end{bmatrix}$[1−2​30​][−12​]=λ[−12​]
其中$\lambda$λ表示长度变化的倍数
即$Mv=\lambda v$Mv=λv
这个看着很眼熟？没错，这个就是求矩阵的特征向量和特征值的式子，向量$v$v就是矩阵$M$M的特征向量，值$\lambda$λ就是矩阵$M$M的特征值。其中，向量$v$v指的不是一个向量，而应该是一簇相同方向的向量，因为上述式子的两边可以乘上任意数值，式子依然成立。
也就是说

在矩阵$M$M的空间线性映射下，如果存在某一方向的向量簇$v$v，该向量簇在矩阵$M$M的线性映射下方向依旧不变，仅仅发生了长度变化，那么这样的向量簇$v$v就是矩阵$M$M的特征向量，其中放大的倍数，就是特征向量$v$v对应的特征值