线性代数笔记-线性空间和矩阵复习

复习思路

这次复习线性代数是为了给机器学习、数值分析、最优化理论三门课程打基础(这三门课程里面的矩阵使用实在太多、太深)。具体来说是要对行列式、矩阵运算、矩阵分解、线性变换里面的基础概念记忆。纸质的笔记仅列出概念,要求自己看到后能理解,算是对复习效果的自测。有时间的话把详细内容放在知乎上,以便以后复习。这次疫情我什么书也没带,因此深切感受到把笔记放在网上的重要性。

线性代数的问题是解线性方程组,记忆概念最好围绕具体解方程的问题展开。我一直不太赞同很多数学书前言中提出的

要用数学严谨、全面的思维学习

​ 我反而比较认同3Brown1Blue制作人Grant的观点。

学习一个数学概念的时候开始可以只学习简陋的(甚至错误的)结论,在使用和之后的学习过程中不断地完善这个结论

线性代数笔记-线性空间和矩阵复习

之前已经学过线性代数,用的国外教材(Linear Algebra and It’s Application),感觉这本书浅显易懂,而且作者举了很多实际科研应用中的例子.书里面讲解的内容都很基础,没有专门对付考试的套路.这次想找丘维声的高等代数来看看,很多比较难的地方就跳过去了,全当回忆基础概念.

基础介绍

  • 线性代数是对解方程线性空间/线性映射的讨论
  • 集合上映射的定义:像、原像、定义域、培域
  • 满射、单设、双射
  • 映射的乘积:结合律
  • 恒等映射,集合A上记作1A1_A
  • 逆映射、可逆映射、左满右单、冲有条件

第一章 线性方程组解法

  • 线性代数的出发点和矩阵的提出都源自n元线性方程组。核心问题就是怎么解方程(一直记得大一时,老师说这句话时,我心想这也太简单了……现在想起来当年还是naive)
  • 方程组的初等变换、阶梯形方程组、同解定义
  • 增广矩阵、阶梯形矩阵、矩阵初等换变换、主元
  • 简化行阶梯形矩阵(作用)
  • 判断n元线性方程组无解、有解(1个/无数个)
  • 齐次线性方程->系数矩阵
  • 零解、非零解(无数个姐)

行列式

一、意义:

我们已经知道高斯消元法解n个n元方程组,这一套方法自成体系,完全可以解决解方程的问题.现在我们想用系数矩阵的性质直接判断齐次方程组是否有唯一解.

二、.逆序数

1.逆序数:在一个排列中,逆序的数量即为一个排列的逆序数,记为τ()\tau(排列)

例如排列2431,其中逆序为43、12、13、14。那么τ(2431)=4\tau(2431) = 4

偶排列和奇排列:逆序数为偶数为偶排列,否则为奇排列。

2.定理:对换改变排列的奇偶性。

3.定理:任一n元排列与排列1,2,……,n可以经过一系列对换互变,并且所作对换的次数与这个n原排列有相同的奇偶性。

4.定理:在全部n原排列(n > 1)中,奇偶排列各占一半

三、行列式

1.定义:n阶矩阵A=(aij)A = (a_{ij})的行列式为
a11a1nan1ann=j1j2jn(1)τ(j1j2jn)a1j1a2j2anjn \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right|= \sum_{j_1 j_2 \cdots j_n} (-1)^{\tau(j_1 j_2 \cdots j_n)} a_{1j_1}a_{2j_2}\cdots a_{nj_n}
其中j1j2jnj_1j_2\cdots j_n表示取遍所有的n元排列

例如二阶矩阵A=(a11a12a21a22)A = \begin{pmatrix} a_{11}& a_{12}\\ a_{21}& a_{22}\\ \end{pmatrix},的行列式有2!项。结果为a12a22+a12a21a_{12}a_{22} + a_{12}a_{21}

更一般形式推导A|A|中的每一项为(1)τ(j1j2jn)a1j1a2j2anjn(-1)^{\tau(j_1j_2\cdots j_n)}a_{1j_1}a_{2j_2}\cdots a_{nj_n}

考虑重新排列a1j1a2j2anjna_{1j_1}a_{2j_2}\cdots a_{nj_n}ai1k1ai2k2ainkna_{i_1k_1}a_{i_2k_2}\cdots a_{i_nk_n}

可以证明(1)τ(j1j2jn)a1j1a2j2anjn=(1)τ(i1i2in)+τ(k1k2kn)ai1k1ai2k2ainkn(-1)^{\tau(j_1j_2\cdots j_n)}a_{1j_1}a_{2j_2}\cdots a_{nj_n} = (-1)^{\tau(i_1i_2\cdots i_n) + \tau(k_1k_2 \cdots k_n)}a_{i_1k_1}a_{i_2k_2}\cdots a_{i_nk_n}

因此可以得到

A=i1i2in(1)τ(i1i2jn)+τ(k1k2kn)ai1k1ai2k2ainkn |A| = \sum_{i_1i_2 \cdots i_n} (-1)^{\tau(i_1i_2 \cdots j_n) + \tau(k_1k_2\cdots k_n)} a_{i_1k_1}a_{i_2k_2}\cdots a_{i_nk_n}

2.按行(列)展开的形式表示行列式

余子式:n级矩阵A=(aij)A = (a_{ij}),划去第i行第j列,剩下的元素按原来的次序排列成n - 1级矩阵,剩下的矩阵的行列式称为余子式,记为MijM_{ij}。令Aij=(1)i+jMijA_{ij} = (-1)^{i + j} M_{ij}称为代数余子式

行列式:行列式|A|等于第i行元素与自己的代数余子式乘积之和
A=j=1naijMij |A| = \sum^n_{j = 1} a_{ij}M_{ij}
注:对任意一列也可以做相同的展开得到行列式。

4.行列式性质

性质1A=AT|A| = |A^T|

性质2:矩阵A某一行乘上系数k得到矩阵B,则B=kA|B| = k|A|
a11a1nkai1kainan1ann=ka11a1nai1ainan1ann \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ ka_{i1}& \cdots& ka_{in}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right| = k \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ a_{i1}& \cdots& a_{in}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right|
性质3
a11a1nbi1+ci1bin+cinan1ann=a11a1nbi1binan1ann+a11a1nci1cinan1ann \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ b_{i1} + c_{i1}& \cdots& b_{in} + c_{in}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right| = \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ b_{i1}& \cdots& b_{in}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right| + \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ c_{i1}& \cdots& c_{in}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right|
性质4:矩阵A对换两行得到矩阵C,则C=A|C| = -|A|
a11a1nak1aknai1ainan1ann=a11a1nai1ainak1aknan1ann \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ a_{k1}& \cdots& a_{kn}\\ \vdots& \quad& \vdots\\ a_{i1}& \cdots& a_{in}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right| = - \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ a_{i1}& \cdots& a_{in}\\ \vdots& \quad& \vdots\\ a_{k1}& \cdots& a_{kn}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right|
性质5:两行成比例(包括相同),行列式相等

性质6:把矩阵A一行的倍数加到另一行上得到矩阵D(矩阵的基本变换),则D=A|D| = |A|
a11a1nak1aknai1+lak1ain+laknan1ann=a11a1nak1aknai1ainan1ann \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ a_{k1}& \cdots& a_{kn}\\ \vdots& \quad& \vdots\\ a_{i1} + la_{k1}& \cdots& a_{in} + la_{kn}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right| = \left| \begin{matrix} a_{11}& \cdots& a_{1n}\\ \vdots& \quad& \vdots\\ a_{k1}& \cdots& a_{kn}\\ \vdots& \quad& \vdots\\ a_{i1}& \cdots& a_{in}\\ \vdots& \quad& \vdots\\ a_{n1}& \cdots& a_{nn} \end{matrix} \right|

线性空间

一、意义

行列式给出了n个n元方程组有无唯一解的判断。对于m个n元方程的解我们还不清楚,而研究线性空间和线性空间的向量就可以判断该方程组解的情况,并且用向量表示出解空间

二、线性空间的基本概念

1.定义线性空间:线性空间就是要在空间上定义加法和数乘两种运算,然后然运算满足8种性质

2.定义行向量和列向量:其实向量到底是行还是列不重要,重要的是要统一记号,比如行向量这样写a=(a1,a2,,an)\vec{a} = (a_1, a_2, \cdots, a_n),而列向量写成:
a=(a1a2an) \vec{a} = \begin{pmatrix} a_1\\ a_2\\ \vdots\\ a_n \end{pmatrix}
3.定义子空间:在原本的线性空间上对加法和数乘封闭

4.向量组a1,,an\vec{a_1}, \cdots, \vec{a_n}:这个概念包括了线性组合生成子空间<a1,,an><\vec{a_1}, \cdots, \vec{a_n}>

注:组和空间都是一个集合

向量组a1,a2,,an\vec{a_1}, \vec{a_2}, \cdots, \vec{a_n}的线性组合表示方程组k1a1+k2a2++knan=βk_1\vec{a_1} + k_2\vec{a_2} + \cdots + k_n\vec{a_n} = \vec{\beta}

注:可以把这个式子看成矩阵乘列向量Ak=βA\vec{k} = \vec{\beta},这就把解方程组的问题彻底转化成了矩阵和线性空间的问题

三、解的推导

1.线性相关充要条件:向量组a1,a2,,an,A=(a1,a2,,an)\vec{a_1}, \vec{a_2}, \cdots, \vec{a_n},A = (\vec{a_1}, \vec{a_2}, \cdots, \vec{a_n})

(1)齐次方程组x1a1+x2a2++xnan=0x_1\vec{a_1} + x_2\vec{a_2} + \cdots + x_n\vec{a_n} = 0有非零解

(2)|A| = 0

2.线性相关/无关条件:类似的等价关系都是从行列式,方程组解的角度考虑

(1)若a1,a2,,an\vec{a_1}, \vec{a_2}, \cdots, \vec{a_n}线性无关,则给每个向量加上m个维度向量组还是线性无关

比如给(0, 1),(1, 0)加上一个维度变成(0, 1, 1),(1, 0, 1)两个向量还是线性无关

(2)类似的,如果向量组线性相关,减掉m个维度也线性形相关

(3)过渡矩阵:如果向量组a1,,an\vec{a_1}, \cdots, \vec{a_n}线性无关,且
β1=b11a1++bn1anβn=b1na1++bnnan \vec{\beta_1} = b_{11}\vec{a_1} + \cdots + b_{n1}\vec{a_n}\\ \vdots\\ \vec{\beta_n} = b_{1n}\vec{a_1} + \cdots + b_{nn}\vec{a_n}
则向量组β1,,βn\vec{\beta_1}, \cdots, \vec{\beta_n}线性无关的充要条件是过渡矩阵|P| = 0,即
P=b11b1nbn1bnn=0 |P| = \left| \begin{matrix} b_{11}& \cdots& b_{1n}\\ \vdots& \quad& \vdots\\ b_{n1}& \cdots& b_{nn} \end{matrix} \right| = 0
注:这个过渡矩阵一般用在之后的换线性空间的基的时候

3.秩:向量组的秩$rank{a_1, \cdots, a_n} = $极大线性无关组的向量个数

秩判断方程组解定理:如果向量组a1,,an\vec{a_1}, \cdots, \vec{a_n}a1,,an,β\vec{a_1}, \cdots, \vec{a_n}, \vec{\beta}秩相等则方程组x1a1++xnan=βx_1\vec{a_1} + \cdots + x_n\vec{a_n} = \vec{\beta}有解

4.线性空间V的基S:向量组S线性无关,且能线性表示空间中所有的向量

例如:二维空间中的(1, 0), (0, 1)

定理:线性空间的维度dimV=dim V = 基中的向量个数

行秩和列秩:矩阵的行向量的秩 = 矩阵的列向量的秩(感觉这个证明还是很重要的,很多初等变换和矩阵证明手法都用到了)

定理rank{A}=rank{A}rank\{A\} = rank\{A'\}

定理:非零矩阵的秩等于它不为0子式(本质上是子矩阵的行列式)的最高阶数

对于n阶方阵A:rank{A}=nrank\{A\} = n等价于A0|A| \neq 0

5.(回答本章的问题)方程组有解的充要条件:增广矩阵和系数矩阵的秩相等(根据秩判断方程组解定理已经很容易看出)。下证:
x1a1++xnan=ββ<a1,,an>rank{a1,,an,β}=rank{a1,,an}广= \begin{aligned} &x_1\vec{a_1} + \cdots + x_n\vec{a_n} = \vec{\beta}\\ \Leftrightarrow &\vec{\beta} \in <\vec{a_1}, \cdots, \vec{a_n}>\\ \Leftrightarrow &rank\{\vec{a_1}, \cdots, \vec{a_n}, \vec{\beta}\}= rank\{\vec{a_1}, \cdots, \vec{a_n}\}\\ \Leftrightarrow&增广矩阵秩 = 系数矩阵秩 \end{aligned}
系数矩阵判断:n元线性方程组系数矩阵A,如果rank{A} = n,则有唯一解,若小于n有无数解

6.(回答本章问题)解方程的办法(n元齐次方程组,系数矩阵A)

解空间W是线性空间RnR^n的子空间,因此用基表示W,且dim W = n - rank(A)

(1)将A化简为简约阶梯型,不妨设主元在前n列1,2,,r1, 2, \cdots, r

(2)得到解的统一表示,其中xr+1,,xnx_{r + 1}, \cdots, x_n可以是任何数
{x1=b1r+1xr+1b1nxnx2=b2r+1xr+1b2nxnxr=brr+1xr+1brnxn \begin{cases} x_1 = b_{1r+1}x_{r + 1} - \cdots -b_{1n}x_{n}\\ x_2 = b_{2r+1}x_{r + 1} - \cdots -b_{2n}x_{n}\\ \vdots\\ x_r = b_{rr+1}x_{r+1} - \cdots -b_{rn}x_{n} \end{cases}
(3)不妨给xr+1,,xnx_{r + 1}, \cdots, x_n取n - r个不同的值分别为
(100)(010)(001) \begin{pmatrix} 1\\0\\ \vdots\\0 \end{pmatrix} \begin{pmatrix} 0\\1\\ \vdots\\0 \end{pmatrix} \cdots \begin{pmatrix} 0\\0\\\vdots\\1 \end{pmatrix}
(4)得到的n - r个解向量组η1,,ηnr\eta_1, \cdots, \eta_{n - r}
(b1r+1b2r+1brr+1100)(b1nb2nbrn001) \begin{pmatrix} -b_{1r+1}\\ -b_{2r+1}\\ \vdots \\-b_{rr+1}\\1\\0\\ \vdots \\ 0 \end{pmatrix} \cdots \begin{pmatrix} -b_{1n}\\ -b_{2n}\\ \vdots \\-b_{rn}\\0\\0\\ \vdots \\ 1 \end{pmatrix}
(5)下证明所有解都可以由上述解向量组线性表示
η=(c1c2cn){c1=b1r+1cr+1b1ncnc2=b2r+1cr+1b2ncncr=brr+1cr+1brncn \eta = \begin{pmatrix} c_1\\ c_2\\ \vdots \\c_n \end{pmatrix} \begin{cases} c_1 = -b_{1r+1}c_{r+1} - \cdots -b_{1n}c_n\\ c_2 = -b_{2r+1}c_{r+1} - \cdots -b_{2n}c_n\\ \vdots\\ c_r = -b_{rr+1}c_{r+1} - \cdots -b_{rn}c_n \end{cases}
显然,可以由解向量组表示η=cr+1η1+cr+2η2++cnηnr\eta = c_{r + 1}\eta_1 + c_{r + 2}\eta_{2} + \cdots + c_{n}\eta_{n - r}

得到解空间W的描述,即向量组η1,,ηnr\eta_1, \cdots, \eta_{n - r}

非齐次方程:解出一个特解,然后去掉常数项变成齐次方程解出一组基,将特解加到基上即可得到结果。

四、更深入的话题

1.定义线性子空间中+运算(满足交换律,结合律):
V1+V2={α1+α2α1V1,α2V2} V_1 + V_2 = \{\alpha_1 + \alpha_2| \alpha_1 \in V_1, \alpha_2 \in V_2\}

线性子空间的交\cap运算,加++运算结果为线性子空间

2.维度公式dim(V1+V2)=dimV1+dimV2dim(V1V2)dim(V_1 + V_2) = dimV_1 + dimV_2 - dim(V_1 \cap V_2)

3.定义直和V1,V2V_1, V_2是数域K上的线性空间V的子空间,如果
αV1+V2α=α1+α2α1V1α2V2 \forall \vec{\alpha} \in V_1 + V_2\\ \vec{\alpha} = \vec{\alpha}_1 + \vec{\alpha}_2 \quad \vec{\alpha}_1 \in V_1\, \vec{\alpha}_2 \in V_2
V1+V2V_1 + V_2为直和,记作V1V2V_1 \oplus V_2,如下图

线性代数笔记-线性空间和矩阵复习

直和的等价条件

(1)V1+V2V_1 + V_2是直和

(2)V1+V2V_1 + V_2中零向量表示法唯一

(3)V1V2=0V_1 \cap V_2 = 0

(4)V1,V2V_1, V_2的基S1,S2S_1, S_2合起来是V1+V2V_1 + V_2的一个基

(5)dim(V1+V2)=dimV1+dimV2dim(V_1 + V_2) = dimV_1 + dimV_2

4.定义补空间:如果V1V2V_1 \oplus V_2V1V_1V2V_2互为补空间

定理V1,V2V_1, V_2的基合起来是V的基,则V=V1V2V = V_1 \oplus V_2

5.定义同构映射σ:VV\exist \sigma:V \rightarrow V'满足下面条件,则V和V’是同构的
σ(α+β)=σ(α)+σ(β)σ(kα)=kσ(α) \sigma(\alpha + \beta) = \sigma(\alpha) + \sigma(\beta)\\ \sigma(k\alpha) = k\sigma(\alpha)
基相等定理:如果α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n是V的基则σ(α1),,σ(αn)\sigma(\vec{\alpha}_1), \cdots, \sigma(\vec{\alpha}_n)是V’的基

同构充分条件:两个空间维数相等

建立同构:数域K上任意n维线性空间与KnK^n同构,同构映射即VKnV中向量\rightarrow K^n中的坐标

等价关系:同构关系是所有线性空间组成的集合上的等价关系

6.陪集(讨论一个线性空间内的等价关系)

(1)定义等价二元等价关系βα\vec{\beta} \sim\vec{\alpha}βαW\vec{\beta} - \vec{\alpha}\in W(W为V的线性子空间)

(2)构造划分:满足二元等价关系的所有α\vec{\alpha}组成集合UWU_W,所有的U就是线性空间V的一个划分

(3)定义陪集:把UWU_W称为子空间W的陪集,记为α+W\alpha + W,称α\alpha为这个陪集的代表

注:W可以有很多陪集,这些陪集就是线性空间的划分

7.商集:W所有等价类组成的集合称为V的一个商集,记为V/W,表示为V/W={α+WαW}V/W = \{\alpha + W| \alpha \in W\}

注:商集是的元素是集合

商空间:可证V/W是数域K上的线性空间,被称为V对于子空间W的商空间

定理:dim(V/M)=dimVdimWdim(V/M) = dimV - dimW

定理:W是V的子空间,如果商空间V/W的一个基为β1+W,,βt+W\vec{\beta}_1 + W, \cdots, \vec{\beta}_t + W,令B=<β1,,βt>B = <\beta_1, \cdots, \beta_t>,则V=WUV = W \oplus U,并且β1,,βt\beta_1, \cdots, \beta_t是B的一个基

矩阵的运算

一、意义

已经看到解线性方程组可以化成矩阵的运算,因此在这一章详细讨论矩阵的运算,帮助解线性方程组.

起始矩阵的运算这一章一般人学过之后印象都比较深刻,所以感觉比较简单复习的时候扫描一下即可.

二、基础运算

1.运算:数乘,加法,乘法

运算律:

(1)结合律:(AB)C = A(BC)

(2)分配律:A(B + C) = AB + AC

(3)转置的关系:(A + B)’ = A’ + B’,(AB)’ = B’A’

2.矩阵的秩:rank(AB) \leqmin{rank(A), rank(B)}

3.过渡矩阵:线性空间V的两组基为α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_nβ1,,βn\vec{\beta}_1, \cdots, \vec{\beta}_n向量在第一组基下表示的坐标为x\vec{x}在第二组基下的坐标为y\vec{y}.根据之前的定义βj\vec{\beta}_j第一组基下的坐标为过度矩阵P的第j列,那么
(β1,,βn)=(α1,,αn)Px=Py (\vec{\beta}_1, \cdots, \vec{\beta}_n) = (\vec{\alpha}_1, \cdots, \vec{\alpha}_n)P \\ \vec{x} = P\vec{y}

三、矩阵的逆和特殊矩阵(在方阵的条件下)

1.初等矩阵:单位矩阵经过一次初等行变换得到的矩阵称为初等矩阵

定理:初等矩阵左乘矩阵A,相当于对A做同样的初等行变换

基础矩阵:形如下面的矩阵
(100000000)(010000000)(000000001) \begin{pmatrix} 1& 0& \cdots& 0\\ 0& 0& \cdots& 0\\ \vdots& \vdots& \quad& \vdots\\ 0& 0& \cdots& 0 \end{pmatrix} \begin{pmatrix} 0& 1& \cdots& 0\\ 0& 0& \cdots& 0\\ \vdots& \vdots& \quad& \vdots\\ 0& 0& \cdots& 0 \end{pmatrix} \cdots \begin{pmatrix} 0& 0& \cdots& 0\\ 0& 0& \cdots& 0\\ \vdots& \vdots& \quad& \vdots\\ 0& 0& \cdots& 1 \end{pmatrix}
注:所有的n阶方阵组成的集合看作线性空间,基础矩阵是这个线性空间的一组基

2.可逆矩阵:A为n阶方阵,若存在B,使得AB = BA = I,则称A可逆,记B为A1A^{-1}

可逆的充要条件

(1)A0|A| \neq 0,且能得出A1=1AAA^{-1} = \frac{1}{|A|} A^*其中AA^*为伴随矩阵

(2)A是满秩矩阵

(3)A的列向量(或者行向量)线性无关

(4)A的列向量为空间KnK^n的基

(5)A可以表示成初等矩阵的乘积

运算率:(1)A,B可逆,则AB可逆(2)(A)1=(A1)(A')^{-1} = (A^{-1})'

定理:可逆矩阵左乘A,不改变A的秩

3.逆的计算方法

(1)如果BA = I,则A,B都可逆,互为彼此的逆

(2)将B用初等矩阵的乘积表示PtP2P1A=IP_t\cdots P_2P_1A = I

(3)A=P11P21Pn1IA = P_1^{-1}P_2^{-1}\cdots P_n^{-1} I

(4)可知矩阵(A I)经过初等行变换得到矩阵(IA1)(I \quad A^{-1})

4.莫拉克法则(这个翻译好像有点奇怪):A是数域K上的n级矩阵,当A0|A| \neq 0时,n元线性方程组Ax=βA\vec{x} = \vec{\beta}的唯一解为
(B1A,B2A,,BnA) (\frac{|B_1|}{|A|}, \frac{|B_2|}{|A|}, \cdots, \frac{|B_n|}{|A|})'
其中BjB_j是把A的第j行换成β\vec{\beta}形成的

思路:由矩阵方程Ax=Bx=A1BA\vec{x} = B \Rightarrow \vec{x} = A^{-1}B得到

5.幂等矩阵:如果A2=AA^2 = A则A是幂等矩阵

6.矩阵正交A1A2=A2A1=0A_1A_2 = A_2A_1 = 0则两矩阵正交

定理:n阶方阵A1,,AsA_1, \cdots, A_s正交充要条件为rank(A)=rank(A1)+rank(As),A=A1+Asrank(A) = rank(A_1) + \cdots rank(A_s), A = A_1 + \cdots A_s

7.对角矩阵:除主对角线以外的元素全为0

性质:用对角矩阵左乘A,相当于用对角矩阵的对角上的元素称A的行

8.对称矩阵:若A = A’则A为对称矩阵

性质:若A,B为对称矩阵,则AB为对称矩阵的充要条件为AB = BA

四、其他的运算性质

注:这些内容与之后的学习关系不大,在此不详细列出;以后用到了再更新

1.乘积与行列式:|AB| = |A||B|

2.矩阵的分块

3.矩阵相抵

4.矩阵广义逆

线性映射

一、意义

对线性空间进一步研究.对向量的线性映射可以理解为矩阵乘以向量,最终化成线性方程组的形式,因此线性映射核与像表示方程的解空间.进一步由线性映射的特征值引出矩阵的特征值,矩阵对角化的条件.

到这里已经有足够的知识学习机器学习中的奇异分解,估计应该也在数值分析和最优化理论中使用.

二、线性映射基本概念

1. 定义线性映射A:设V,V’是F上的线性空间,V到V’的映射A如果保持加法和数乘运算,则A是线性映射
A(α+β)=A(α)+A(β)A(kα)=kA(α) A(\vec{\alpha} + \vec{\beta}) = A(\vec{\alpha}) + A(\vec{\beta})\\ A(k\vec{\alpha}) = kA(\vec{\alpha})
概念:线性变换,数乘变换,零变换,恒等变换,零映射(映射是A到A’,变换是A到A)

性质:V的一个基α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n,则对于V中α=a1α+,anαn\vec{\alpha} = a_1\vec{\alpha} + \cdots, a_n\vec\alpha_n,有:A(α)=a1A(α1)++anA(αn)A(\vec{\alpha}) = a_1A(\vec{\alpha}_1) + \cdots + a_nA(\vec{\alpha}_n),注:只要知道了V的一个基,V中每一个向量在A下的像就确定了

构造单射:V中取一个基α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n,V’中任取n个向量γ1,,γn\vec{\gamma}_1, \cdots, \vec{\gamma}_n,构造映射A
A:VVα=i=1naiαii=1naiγi A: V \rightarrow V'\\ \vec{\alpha} = \sum^n_{i = 1}a_i\vec\alpha_i \rightarrow \sum^n_{i = 1}a_i\vec\gamma_i
2. 定义Hom(V, V’):V到V’的所有线性映射

性质:Hom(V, V’)是域F上的线性空间,定义了线性映射的加法和数乘

3. 线性映射的运算

定义Hom(V, V’):V到V’的所有线性映射,根据下面定义的加法和数乘,Hom(V, V)是线性空间

定义加法,数乘,乘法(满足结合律,分配律):
(A+B)α=Aα+Bα(kA)α=k(Aα) (A + B)\vec\alpha = A\vec\alpha + B\vec\alpha\\ (kA)\vec\alpha = k(A\vec\alpha)
4. 定义F上的代数:线性空间A有加法,乘法,数乘且A对于加法和乘法称为单位元的环,A的乘法和数乘满足:k(αβ)=(kα)β=α(kβ)k(\vec\alpha\vec\beta) = (k\vec\alpha)\vec\beta = \vec\alpha(k\vec\beta),则称A是F域上的一个代数,线性空间A的维数 = 代数A的维数

定义Mn(F)M_n(F):域F上所有的n阶矩阵(显然Mn(F)M_n(F)维数是n2n^2

5. 定义线性变换多项式集F(A)

(1)有了线性变换的乘法,可以定义线性变换的幂

(2)定义线性变换的多项式f(A)f(A)

(3)所有多项式组成集合F(A),为线性空间

6. 定义投影:设V是域F上的线性空间,若V=UW,αVV = U \oplus W, \, \vec\alpha \in V
α=α1+α2,α1U,α2WPUα=α1 \vec\alpha = \vec\alpha_1 + \vec{\alpha}_2, \vec{\alpha}_1 \in U, \vec{\alpha}_2 \in W\\ P_U{\vec{\alpha}} = \vec{\alpha}_1
PUP_U是平行于W在U上的投影,图形解释如下

线性代数笔记-线性空间和矩阵复习

性质:

(1)PUP_U是V上的线性变换

(2)PU={α,αU0,αWP_U = \begin{cases} \vec{\alpha}, \quad \vec{\alpha} \in U\\ 0, \quad \vec{\alpha} \in W \end{cases}

(3)PU2=PUP_U^2 = P_U

7. 特殊的变换

幂等变换:A2=AA^2 = A

正交:AB是零变换,则A,B正交

对合变换:A2=IA^2 = I(I为恒等变换)

二、线性映射的核与像

1. 定义核,像:A是V到V’的映射,V的子集{αVAα=0}\{\vec\alpha \in V | A \vec{\alpha} = \vec0\}是A的核,记作KerA;A的值域是A的像,记作ImA

2. 性质

(1)A是单射充要条件:KerA = 0

(2)A是满射充要条件:ImA = V’

(3)对于平行于W的投影PUP_UKerPU=W,ImPU=UKerP_U = W, ImP_U = U

(4)同构映射:V/KerAImAV / KerA \cong ImA

(5)有限维条件下:dim(KerA)+dim(ImA)=dimVdim(KerA) + dim(ImA) = dimV

3. 定义维度,秩:dim(A的核) 称为A的零度,rank(A) = dim(A的像)

4. 定理:A是V上的线性变换,A是单射当且仅当A是满射

5. 线性方程组与线性映射

设线性方程组为Ax=0,A=(α1,,αn)A \vec{x} = 0, A = (\vec{\alpha}_1, \cdots, \vec{\alpha}_n),A是s×ns \times n矩阵

令线性映射
A:FnFsαAα{\mathscr A} :F^n \rightarrow F^s\\ \qquad \vec{\alpha} \rightarrow A\vec{\alpha}

则解空间W=KerAW = Ker \mathscr A

A的列向量空间<α1,,αn>=ImA<\vec{\alpha}_1, \cdots, \vec{\alpha}_n> = Im \mathscr A

得到rank(A)=rank(A)rank(A) = rank(\mathscr A)

注:此处将线性映射写成A\mathscr A形式,以区分矩阵

6. 定理:如果线性变换A,KerAImA=0Ker A \cap ImA = 0,则V=KerAImAV = KerA \oplus ImA

定理:如果A是幂等变换,则V=KerAImAV = KerA \oplus ImA

定理:A是幂等变换,则V=ImAIm(IA)V = ImA \oplus Im(I - A)

定理:线性变换A,A是幂等变换当且仅当rank(A)+rank(IA)=nrank(A) + rank(I - A) = n

三、线性映射与矩阵

1. 线性变换对应的矩阵

(1)选定线性空间上的基α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n

(2)线性映射A\mathscr A表示成以下形式
{Aα1=a11α1++an1αnAα2=a12α1++an2αnAαn=a1nα1++annαn \begin{cases} {\mathscr A} \it \vec{\alpha}_1 = a_{11} \vec{\alpha}_1 + \cdots + a_{n1}\vec{\alpha}_n \\ \mathscr A \it \vec{\alpha}_2 = a_{12} \vec{\alpha}_1 + \cdots + a_{n2}\vec{\alpha}_n\\ \vdots \\ \mathscr A \it \vec{\alpha}_n = a_{1n}\vec{\alpha}_1 + \cdots + a_{nn}\vec{\alpha}_n \end{cases}
(3)则A为,线性变换在基α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n下的矩阵
A=(a11a12a1na21a22a2nan1an2ann) A = \begin{pmatrix} a_{11}& a_{12}& \cdots& a_{1n}\\ a_{21}& a_{22}& \cdots& a_{2n}\\ \vdots& \vdots& \quad& \vdots&\\ a_{n1}& a_{n2}& \cdots& a_{nn} \end{pmatrix}
(4)可以把基写成A(α1,,αn)=(α1,,αn)A{\mathscr A} (\vec{\alpha}_1, \cdots, \vec{\alpha}_n) = (\vec{\alpha}_1, \cdots, \vec{\alpha}_n)A

(5)坐标表示:用线性空间基向量α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_nα\vec{\alpha}表示称坐标X\vec{X};则A(α){\mathscr A}(\vec{\alpha})的坐标为AXA\vec{X}

如果选择的基为(10),(01),\begin{pmatrix}1\\ 0\\ \vdots \end{pmatrix}, \begin{pmatrix}0\\ 1\\ \vdots \end{pmatrix}, \cdots那么线性映射可以写为A:αAα{\mathscr A}: \vec{\alpha} \rightarrow A\vec{\alpha}

2.线性映射对应的矩阵

(1)线性映射从V到V’,选择V中的基α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n,V’的基η1,,ηs\vec{\eta}_1, \cdots, \vec{\eta}_s

(2)同理有s×ns \times n矩阵A
A=(a11a12a1na21a22a2nas1as2asn)A(α1,,αn)=(η1,,ηn)A A = \begin{pmatrix} a_{11}& a_{12}& \cdots& a_{1n}\\ a_{21}& a_{22}& \cdots& a_{2n}\\ \vdots& \vdots& \quad& \vdots\\ a_{s1}& a_{s2}& \cdots& a_{sn} \end{pmatrix}\\ {\mathscr A}(\vec{\alpha}_1, \cdots, \vec{\alpha}_n) = (\vec{\eta}_1, \cdots, \vec{\eta}_n)A

3.定理rank(A)=rank(A)rank({\mathscr A}) = rank(A)

4.定义映射τ\tau

(1)τ:Hom(V,V)Ms×n(F)AA\tau: Hom(V, V') \rightarrow M_{s \times n}(F)\\ \qquad{\mathscr A} \rightarrow A
实际上是“线性映射”到“矩阵”的映射

(2)可以证明τ\tau保持加法,乘法,数乘运算

5.线性变换和矩阵的性质

(1)线性变换可逆 等价 矩阵可逆

(2)幂等变换 等价 幂等矩阵

(3)对合变换 等价 对合矩阵

(4)A是幂等矩阵    \iffrank(A) + rank(I - A) = n

(5)rank(BA)rank(A)+rank(B)mrank(BA) \geq rank(A) + rank(B) - m

(6)线性变换A=A1++An\mathscr A = A_1 + \cdots +A_n,其中A1,,An\mathscr A_1, \cdots, A_n是正交的幂等变换当且仅当A\mathscr A是幂等变换,且rank(A)=rank(A1)++rank(An)rank({\mathscr A}) = rank({\mathscr A_1}) + \cdots + rank({\mathscr A_n})

6.坐标变换:线性空间V上的可逆变换A,V的基为α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_nAα1,,AαnA\vec{\alpha}_1, \cdots, {A}\vec{\alpha}_n,则过渡矩阵P是线性变换在α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n下的矩阵,也是α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n到的Aα1,,AαnA\vec{\alpha}_1, \cdots, A\vec{\alpha}_n过渡矩阵

7.相似矩阵

(1)考虑线性变换在基α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n下的矩阵A,基η1,,ηn\vec{\eta}_1, \cdots, \vec{\eta}_n下的矩阵B,有过渡矩阵P:(η1,,ηn)=(α1,,αn)P(\vec{\eta}_1, \cdots, \vec{\eta}_n) = (\vec{\alpha}_1, \cdots, \vec{\alpha}_n)P

(2)可证B=P1APB = P^{-1}AP

(3)A,B为域F上的n级矩阵,若存在可逆矩阵P,使B=P1APB = P^{-1}AP,则A,B是相似的,记为ABA \sim B

8.性质

(1)如果线性变换A把V上的基α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n映射到基η1,,ηn\vec{\eta}_1, \cdots, \vec{\eta}_n,则A在两个基下的矩阵都等于α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_nη1,,ηn\vec{\eta}_1, \cdots, \vec{\eta}_n的过渡矩阵

(2)若A~B,则|A| = |B|

(3)若A~B,则rank(A) = rank(B)

(4)若A~B,则A可逆当且仅当B可逆A1B1A^{-1} \sim B^{-1}

(5)若A~B,则tr(A)= tr(B)

9.秩:n阶方阵A主对角线上元素的和称为A的迹,记为tr(A)

性质:
tr(A+B)=tr(A)+tr(B)tr(kA)=ktr(A)tr(AB)=tr(BA) tr(A + B) = tr(A) + tr(B)\\ tr(kA) = k\,tr(A)\\ tr(AB) = tr(BA)

四、特征值

1.矩阵特征值&特征向量:若Aα=λ0αA\vec{\alpha} = \lambda_0 \vec{\alpha},则λ0\lambda_0是特征值,α\vec{\alpha}是特征向量且不为0向量

特征子空间:Vλ0={αVAα=λ0α}V_{\lambda_0} = \{\vec{\alpha} \in V| A\vec{\alpha} = \lambda_0 \vec{\alpha}\}

(线性变换的特征值,特征向量,特征子空间于此类似)

性质:不同特征空间中的向量线性无关

2.特征多项式λIA|\lambda I - A|(其中λ\lambda为未知数)

α\vec{\alpha}是A特征向量的等价条件:

(1)(λ0IA)α=0(\lambda_0 I - A)\vec{\alpha} = 0

(2)α\vec{\alpha}是齐次线性方程组(λ0IA)x=0(\lambda_0 I - A)\vec{x} = \vec0的非零解

性质:λ0\lambda_0 是A的特征值,当且仅当,λ0\lambda_0λ0IA=0|\lambda_0 I - A| = 0在F中的一个根

3.求特征向量方法

(1)计算特征多项式λIA|\lambda I - A|

(2)解出λIA=0|\lambda I - A| = 0的根,如果没有解则没有特征值和特征向量;否则全部根就是特征值

(3)解出(λiIA)x=0(\lambda_i I - A) \vec{x} = \vec0的解空间VλiV_{\lambda_i},则解空间中的向量即λi\lambda_i对应的特征向量

4.特征多项式的系数:A是域F上的n阶方阵.特征多项式λIA=0|\lambda I - A| = 0是n次多项式,λn\lambda^n的系数为1,λn1\lambda^{n-1}的系数是-tr(A),λnk\lambda^{n - k}的系数等于(1)k(-1)^k乘A的所有k阶主子式.

推论:特征多项式的n个复根的和为tr(A),n个复根的积为|A|

5.相似矩阵性质:相似矩阵的特征多项式和特征值相等

6.几何重数λi\lambda_i的几何重数是VλiV_{\lambda_i}的维度

代数重数:特征值的根的重数

7.定义向量内积(α,β)=αβ(\vec{\alpha}, \vec{\beta}) = \vec{\alpha}'\vec{\beta}

正交(α,β)=0(\vec{\alpha}, \vec{\beta}) = 0,则两向量正交

性质:正交向量一定线性无关,因此有正交基,单位正交基

定理:是对称矩阵A属于不同特征值的特征向量是正交的

五、对角化

1.对角化:如果A相似与一个对角矩阵,那么A可对角化(线性变换类似)

2.可对角化充要条件

(1)线性变换A可对角化,当且仅当,A的特征向量可组成V的基;主对角线元素为A的特征值的矩阵称标准型

(2)线性变换A可对角化,当且仅当,V=Vλ1Vλ2VλnV = V_{\lambda_1} \oplus V_{\lambda_2} \oplus \cdots \oplus V_{\lambda_n}

(3)线性变换A可对角化,当且仅当,dimVλ1+dimVλ2+,+dimVλn=ndim V_{\lambda_1} + dimV_{\lambda_2} + \cdots, + dimV_{\lambda_n} = n

3.矩阵A可对角化充要条件(n阶方阵A)

(1)A有n个线性无关的特征向量α1,,αn\vec{\alpha}_1, \cdots, \vec{\alpha}_n,此时令P=(α1,,αn)P = (\vec{\alpha}_1, \cdots, \vec{\alpha}_n),则P1AP=diag{λ1,,λn}P^{-1}AP = diag\{\lambda_1, \cdots, \lambda_n\}

(2)Fn=Vλ1Vλ2VλnF^n = V_{\lambda_1} \oplus V_{\lambda_2} \oplus \cdots \oplus V_{\lambda_n}

(3)dimVλ1++dimλndimV_{\lambda_1} + \cdots + dim_{\lambda_n}

(4)特征多项式可分解为f(λ)=(λλ1)l1(λλ2)l2(λλs)lnf(\lambda) = (\lambda - \lambda_1)^{l_1}(\lambda - \lambda_2)^{l_2}\cdots(\lambda - \lambda_s)^{l_n}