学习最优化导论过程中做的一点笔记，就当梳理知识点.

向量空间与矩阵

1.1 向量与矩阵

1.1.1 定义

$n$n 维向量 : 含有 $n$n个数的数组，如：

$\vec a= \begin{bmatrix} a_1\\ a_2\\ a_3\\ \vdots\\ a_n \end{bmatrix}$a=⎣⎢⎢⎢⎢⎢⎡​a1​a2​a3​⋮an​​⎦⎥⎥⎥⎥⎥⎤​

$a_i$ai​表示向量 $\vec a$a的第 $i$i个元素，定义 $R$R为全体实数组成的集合，那么实数组成的 $n$n维向量可表示为 $R^n$Rn。

$n$n 维行向量记为：
$\vec a= \begin{bmatrix} a_1, a_2,\cdots, a_n \end{bmatrix}$a=[a1​,a2​,⋯,an​​]

---

1.1.2 运算及性质

向量加减：
$\vec a +\vec b= \begin{bmatrix} a_1+b_1, a_2+b_2,\cdots, a_n+b_n \end{bmatrix}$a+b=[a1​+b1​,a2​+b2​,⋯,an​+bn​​]

具有以下性质：
$\vec a+ \vec b=\vec b+\vec a\\ \quad\\ (\vec a+ \vec b)+\vec c=\vec a+(\vec b+\vec c)\\ \quad\\ 存在零向量:\textbf{0}=\begin{bmatrix} 0,0,0,\cdots,0 \end{bmatrix}^T,使得\vec a+\textbf{0}=\vec a$a+b=b+a(a+b)+c=a+(b+c)存在零向量:0=[0,0,0,⋯,0​]T,使得a+0=a

向量乘积——与标量 $\alpha$α $\in R$∈R 的乘积

$\alpha \vec a=\begin{bmatrix} \alpha a_1,\alpha a_2,\cdots,\alpha a_n, \end{bmatrix}$αa=[αa1​,αa2​,⋯,αan​,​]

具有以下的性质：
$\alpha(\vec{a}+\vec{b})=\alpha\vec{a}+\alpha\vec{b}\\ \alpha(\vec{a}+\vec{b})=\alpha\vec{a}+\alpha\vec{b}\\ \alpha(\beta\vec{a})=(\alpha\beta)\vec{a}\\$α(a+b)=αa+αbα(a+b)=αa+αbα(βa)=(αβ)a

1.1.3 线性相关与线性组合

① 如果方程
$\alpha_1\vec{a}_1+\alpha_2\vec{a}_2+\cdots+\alpha_n\vec{a}_n=0\\$α1​a1​+α2​a2​+⋯+αn​an​=0
其中 $\alpha_i(i=1,\cdots, k)$αi​(i=1,⋯,k)都等于0，那么 向量集 {$\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_n$a1​,a2​,⋯,an​}是 线性无关的 ，反之称为线性相关。（实际上，包含0向量的集合都是线性相关的）

② 给定向量 $\vec{a}$a, 如果存在标量 $\alpha_1,\alpha_2,\cdots,\alpha_k$α1​,α2​,⋯,αk​,使得
$\vec{a}=\alpha_1\vec{a}_1+\alpha_2\vec{a}_2+\cdots+\alpha_n\vec{a}_k\\$a=α1​a1​+α2​a2​+⋯+αn​ak​

称$\vec{a}为\vec{a}_1, \vec{a}_2, \cdots, \vec{a}_k$a为a1​,a2​,⋯,ak​的线性组合

结合①和②给出一个命题：

向量集 {$\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k$a1​,a2​,⋯,ak​}是线性相关的，当且仅当集合中的一个向量可以被视为其他向量的线性组合。

进一步来观察一下线性相关和线性无关，现在我们给出两个二维的向量集($R^2$R2)：
$\vec{a}= \begin{bmatrix} 2,3\\ 2,3\\ \end{bmatrix} \qquad \vec{b}= \begin{bmatrix} 1,6\\ 3,4\\ \end{bmatrix}$a=[2,32,3​]b=[1,63,4​]

把 $\vec{a}$a和 $\vec{b}$b的每一个向量都画出来：

在向量 $\vec{a}$a的图中，$\vec{a}_1,\vec{a}_2$a1​,a2​ 共线，二者的线性组合只能表示同样在这条线上的向量，不能完全表示整个二维平面，并且
$\frac{-3\vec{a}_1}{2}+1\vec{a}_2 =0$2−3a1​​+1a2​=0

在向量 $\vec{b}$b的图中，$\vec{b}_1,\vec{b}_2$b1​,b2​ 的线性组合可以表示整个二维平面的所有向量。

线性相关——至少有一对向量共线；线性无关——不存在一组共线向量

---

1.1.4 生成空间

① 假定$\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k$a1​,a2​,⋯,ak​ 是 $R^n$Rn中的任意向量，他们的所有线性组合的集合称为$\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k$a1​,a2​,⋯,ak​ 张成的子空间：
$span[\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k]= \{\sum_{i=1}^{k} \alpha_i\vec{a}_i:\alpha_1,\cdots,\alpha_k \in R \}$span[a1​,a2​,⋯,ak​]={i=1∑k​αi​ai​:α1​,⋯,αk​∈R}

如果 $\vec{a}$a 能够被表示为 $\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k$a1​,a2​,⋯,ak​的线性组合，那么有
$span[\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k]=span[vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k,\vec{a}]$span[a1​,a2​,⋯,ak​]=span[veca1​,a2​,⋯,ak​,a]

② 给定一个子空间，如果存在线性无关的向量集合 $\{\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k\}${a1​,a2​,⋯,ak​} 使得 子空间=$span[\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k]$span[a1​,a2​,⋯,ak​] ,那么这组向量就是子空间的一组基。所有基都包含同样数量的向量，这个数量称为子空间的维数，记为$dim V$dimV.

给出一命题：
如果 $\{\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k\}${a1​,a2​,⋯,ak​}是子空间的一组基，那么子空间中的任意向量 $\vec{a}$a都可以唯一的表示为：
$\vec{a}=\alpha_1\vec{a}_1+\alpha_2\vec{a}_2+\cdots+\alpha_n\vec{a}_k$a=α1​a1​+α2​a2​+⋯+αn​ak​
其中，$\alpha_i\in R,i=1,2,\cdots,k$αi​∈R,i=1,2,⋯,k。

$R^n$Rn 的标准基：

$\vec{e}_1= \begin{bmatrix} 1\\ 0\\ 0\\ \vdots \\ 0\\ 0\\ \end{bmatrix} \quad \vec{e}_2=\begin{bmatrix} 0\\ 1\\ 0\\ \vdots\\ 0\\ 0\\ \end{bmatrix} \quad \vec{e}_2=\begin{bmatrix} 0\\ 0\\ 1\\ \vdots\\ 0\\ 0\\ \end{bmatrix} \cdots \vec{e}_n=\begin{bmatrix} 0\\ 0\\ 0\\ \vdots\\ 0\\ 1\\ \end{bmatrix}$e1​=⎣⎢⎢⎢⎢⎢⎢⎢⎡​100⋮00​⎦⎥⎥⎥⎥⎥⎥⎥⎤​e2​=⎣⎢⎢⎢⎢⎢⎢⎢⎡​010⋮00​⎦⎥⎥⎥⎥⎥⎥⎥⎤​e2​=⎣⎢⎢⎢⎢⎢⎢⎢⎡​001⋮00​⎦⎥⎥⎥⎥⎥⎥⎥⎤​⋯en​=⎣⎢⎢⎢⎢⎢⎢⎢⎡​000⋮01​⎦⎥⎥⎥⎥⎥⎥⎥⎤​

在标准基下，向量 $\vec{x}$x可表示为：
$\vec{x}=\begin{bmatrix} x_1\\ x_2\\ x_3\\ \vdots\\ x_n\\ \end{bmatrix} =x_1\vec{e}_1+x_2\vec{e}_2+\cdots+x_n\vec{e}_n$x=⎣⎢⎢⎢⎢⎢⎡​x1​x2​x3​⋮xn​​⎦⎥⎥⎥⎥⎥⎤​=x1​e1​+x2​e2​+⋯+xn​en​

1.1.5 矩阵

矩阵是指行列数组，通常用大写粗体字母表示($A$A)。$m$m 行$n$n列矩阵称为$m\times n$m×n矩阵，记为：
$A=\begin{bmatrix} a_{11}& a_{12}&\cdots&a_{1n}\\ a_{21}& a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\ddots&\vdots\\ a_{m1}& a_{m2}&\cdots&a_{mn}\\ \end{bmatrix}$A=⎣⎢⎢⎢⎡​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋱⋯​a1n​a2n​⋮amn​​⎦⎥⎥⎥⎤​

转置记为:
$A^T=\begin{bmatrix} a_{11}& a_{21}&\cdots&a_{m1}\\ a_{12}& a_{22}&\cdots&a_{m2}\\ \vdots&\vdots&\ddots&\vdots\\ a_{1n}& a_{2n}&\cdots&a_{mn}\\ \end{bmatrix}$AT=⎣⎢⎢⎢⎡​a11​a12​⋮a1n​​a21​a22​⋮a2n​​⋯⋯⋱⋯​am1​am2​⋮amn​​⎦⎥⎥⎥⎤​
第 $k$k列用$\vec{a}_k$ak​表示：
$vec{e}_n=\begin{bmatrix} \vec{a}_{1k}\\ \vec{a}_{2k}\\ \vdots\\ \vec{a}_{mk} \end{bmatrix}$vecen​=⎣⎢⎢⎢⎡​a1k​a2k​⋮amk​​⎦⎥⎥⎥⎤​

$R^{m\times n}$Rm×n 表示所有 $m\times n$m×n矩阵组成的集合

矩阵的秩记作 $rank A$rankA，$rank A$rankA其实就是 $span[\vec{a}_1,\vec{a}_2,\cdots,\vec{a}_k]$span[a1​,a2​,⋯,ak​]的维数。

以下情况，矩阵$A$A的秩不会繁盛变化：
①矩阵$A$A的某个（些）列乘以非零标量 ②矩阵内部交换次序 ③矩阵中加入一列，该列是其他列的线性组合。

---

如果矩阵 $A$A的行数等于列数，称之为 方阵

行列式是每个方阵对应的一个标量，记作 $detA$detA或 $|A|$∣A∣。方阵的行列式是个列的函数，具有以下性质

1、对于任意的 $\alpha\beta\in R$αβ∈R 和 $\vec{a}_{k}^{1},\vec{a}_{k}^{2}\in R$ak1​,ak2​∈R

$det [\vec{a}_1,\cdots,\vec{a}_{k-1,},\alpha\vec{a}_{k}^{(1)}+\beta\vec{a}_{k}^{(2)},\vec{a}_{k+1},\cdots,\vec{a}_n]\\ =\alpha det[\vec{a}_1,\cdots,\vec{a}_{k-1,},\vec{a}_{k}^{(1)},\vec{a}_{k+1},\cdots,\vec{a}_n]\\ +\beta det[\vec{a}_1,\cdots,\vec{a}_{k-1,},\vec{a}_{k}^{(2)},\vec{a}_{k+1},\cdots,\vec{a}_n]\\$det[a1​,⋯,ak−1,​,αak(1)​+βak(2)​,ak+1​,⋯,an​]=αdet[a1​,⋯,ak−1,​,ak(1)​,ak+1​,⋯,an​]+βdet[a1​,⋯,ak−1,​,ak(2)​,ak+1​,⋯,an​]

2、如果对于某个 $k$k，有 $\vec{a}_k=\vec{a}_{k+1}$ak​=ak+1​,那么有 $detA=0$detA=0

3、$R^n$Rn的标准基组成的矩阵，$det=1$det=1

方阵行列式的具体知识点之后慢慢补充

---

1.2 线性方程组

1.2.1 基础概念

给定包含 $n$n个未知量的 $m$m个方程：
$\begin{aligned} a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n&=b_1\\ a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n&=b_2\\ &\vdots\\ a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n&=b_1\\ \end{aligned}$a11​x1​+a12​x2​+⋯+a1n​xn​a21​x1​+a22​x2​+⋯+a2n​xn​am1​x1​+am2​x2​+⋯+amn​xn​​=b1​=b2​⋮=b1​​
可写成矩阵模式：
$Ax=b$Ax=b
$A$A为系数矩阵：
$A=[a_1,a_2,\cdots,a_n]$A=[a1​,a2​,⋯,an​]
增广矩阵定义为：
$[A,b]=[a_1,a_2,\cdots,a_n,b]$[A,b]=[a1​,a2​,⋯,an​,b]
未知数向量：
$\textbf{x}= \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}$x=⎣⎢⎢⎢⎡​x1​x2​⋮xn​​⎦⎥⎥⎥⎤​

---

1.2.2 方程解的情况

①、方程组 $Ax=b$Ax=b有解，当且仅当
$rankA=rank[A,b]$rankA=rank[A,b]

换个角度想，$m$m个列向量表示在坐标系中的 $m$m个不同的方向，$x_1,\cdots,x_n$x1​,⋯,xn​表示对应的列向量在自身方向上移动的距离，$b$b就是最终要到达的向量，如果在一个三维空间中，要表示空间中的任意一点，需要三个不共线的向量组合才能实现，这就要求提供方向的向量子空间要包含目标向量。

②、考虑方程$Ax=b$Ax=b，其中$A \in R^{m\times n}$A∈Rm×n且$rankA=m$rankA=m.可以通过对 $n-m$n−m个未知数赋任意值并求解其他未知数从而获得解。

由 $rankA=m$rankA=m我们可以得知它是一个满秩矩阵，系数矩阵的子空间覆盖了整个$R^{m}$Rm；选取 $m$m个线性无关的向量，并把剩下 $n-m$n−m项的移项：
$a_{1}x_1+a_{2}x_2+\cdots+a_{n}x_m=b-a_{m+1}x_{m+1}-\cdots-x_na_n\\$a1​x1​+a2​x2​+⋯+an​xm​=b−am+1​xm+1​−⋯−xn​an​
对 $x_{m+1},\cdots,x_n$xm+1​,⋯,xn​赋值，并将左边的向量组整合为方阵 $B$B,可写成：
$B\begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_m\\ \end{bmatrix} =[b-a_{m+1}x_{m+1}-\cdots-x_na_n]$B⎣⎢⎢⎢⎡​x1​x2​⋮xm​​⎦⎥⎥⎥⎤​=[b−am+1​xm+1​−⋯−xn​an​]
明显 $detB\ne 0$detB​=0,所以左乘$B^{-1}$B−1:
$\begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_m\\ \end{bmatrix} =B^{-1}[b-a_{m+1}x_{m+1}-\cdots-x_na_n]$⎣⎢⎢⎢⎡​x1​x2​⋮xm​​⎦⎥⎥⎥⎤​=B−1[b−am+1​xm+1​−⋯−xn​an​]

---

1.3 內积和范数

1.3.1 实数

实数 $a$a的绝对值记为$|a|$∣a∣,定义为：
$|a|=\begin{cases} a&a\geq0\\ -a&a<0 \end{cases}$∣a∣={a−a​a≥0a<0​
有以下公式成立：

1. $|a|=|-a|$∣a∣=∣−a∣

2. $-|a|\leq a\leq|a|$−∣a∣≤a≤∣a∣

3. $|a+b|\leq |a|+|b|$∣a+b∣≤∣a∣+∣b∣

4. $||a|-|b||\leq |a-b|\leq |a|+|b|$∣∣a∣−∣b∣∣≤∣a−b∣≤∣a∣+∣b∣

5. $|ab|=|a||b|$∣ab∣=∣a∣∣b∣

6. 如果 $|a|\leq c$∣a∣≤c且 $|b|\leq d$∣b∣≤d，那么有$|a+b|\leq c+d$∣a+b∣≤c+d

7. 不等式 $|a|<b$∣a∣<b等价于 $-b<a<b$−b<a<b

8. 不等式 $|a|>b$∣a∣>b,等价于 $a>b$a>b或者 $-a>b$−a>b

---

1.3.2 內积

对于 $x,y\in R^n$x,y∈Rn,定义欧式內积为:
$<\vec x,\vec y>=\sum_{i=1}^{n} x_iy_i=x^Ty$<x,y​>=i=1∑n​xi​yi​=xTy
內积是一个实值函数$<\cdot,\cdot >:R^n\times R^n \to R$<⋅,⋅>:Rn×Rn→R,具有以下性质：

1. 非负性：$<x,x>\geq 0$<x,x>≥0, 当且仅当 $x=0$x=0时，$<x,x>=0$<x,x>=0

2. 对称性：$<x,y>=<y,x>$<x,y>=<y,x>

3. 可加性：$<x+y,z>=<x,z>+<y,z>$<x+y,z>=<x,z>+<y,z>

4. 齐次性：对于任意 $r\in R$r∈R,总有$<rx,y>=r<x,y>$<rx,y>=r<x,y>成立

给定向量 $x,y$x,y,如果 $<x,y>=0$<x,y>=0, 那么 $x$x和 $y$y是正交的。(直观反映就是垂直)

---

1.3.3 范数

向量 $x$x的欧式范数定义为：
$||x||=\sqrt {<x,x>}=\sqrt {x^Tx}$∣∣x∣∣=<x,x>​=xTx​
柯西-施瓦茨不等式：对于 $R^n$Rn任意两个向量 $x$x和 $y$y：$|<x,y>|\leq ||x||||y||$∣<x,y>∣≤∣∣x∣∣∣∣y∣∣

向量 $x$x的欧式范数$||x||$∣∣x∣∣具有如下性质：

1. 非负性：$||x||\geq 0$∣∣x∣∣≥0, 当且仅当$x=0$x=0时， $||x||=0$∣∣x∣∣=0

2. 齐次性：$||rx||=|r| ||x||,r\in R$∣∣rx∣∣=∣r∣∣∣x∣∣,r∈R

3. 三角不等式：$||x+y||\leq+||x||+||y||$∣∣x+y∣∣≤+∣∣x∣∣+∣∣y∣∣

欧式范数是通用向量范数的一个特例，通用向量范数是满足非负性、齐次性和三角不等式的任意函数。

$p$p范数:

$||x||_p=\begin{cases} (|x_1|^p+\cdots+|x_n|^p)^{1/p}&1\leq p<\infty\\ max\{|x_1|,\cdots,|x_n|\}&p=\infty \end{cases}$∣∣x∣∣p​={(∣x1​∣p+⋯+∣xn​∣p)1/pmax{∣x1​∣,⋯,∣xn​∣}​1≤p<∞p=∞​
（欧式范数就是2范数）

用范数定义连续函数。如果对于所有的 $\varepsilon>0$ε>0, 都存在一个 $\delta>0$δ>0,使得$||y-x||<\delta\Rightarrow||f(y)-f(x)||<\varepsilon$∣∣y−x∣∣<δ⇒∣∣f(y)−f(x)∣∣<ε, 那么函数 $\textbf{f}:R^n\to R^m$f:Rn→Rm,在点 $x$x是连续的。

复数空间 $C^n$Cn的內积定义 $\sum_{i=1}^{n}x_i\bar{y}_i$∑i=1n​xi​yˉ​i​，上划线表示共轭，$C^n$Cn上的內积是一个复值函数，具有以下性质：

1. $<x,x>\geq0$<x,x>≥0,当且仅当 $x=0$x=0时，$<x,x>=0$<x,x>=0

2. $<x,y>=<y,x>$<x,y>=<y,x>

3. $<x+y,z>=<x,z>+<y,z>$<x+y,z>=<x,z>+<y,z>

4. $<rx,y>=r<x,y>$<rx,y>=r<x,y>,其中$r\in C$r∈C

利用性质1至性质4，可以推出其他的一些性质，如：
$<x,r_1y+r_2y>=\bar{r_1}<x,y>+\bar{r_2}<x,z>$<x,r1​y+r2​y>=r1​ˉ​<x,y>+r2​ˉ​<x,z>
其中$r_1,r_2\in C$r1​,r2​∈C

---

变换

2.1 linear map——线性映射

给定函数 $\zeta :R^n \to R^m$ζ:Rn→Rm,如果

• 1. 对于任意 $x\in R^n$x∈Rn和 $a\in R$a∈R,都有 $\zeta(ax)=a\zeta(x)$ζ(ax)=aζ(x)
• 2. 对于任意 $x,y\in R^n$x,y∈Rn,都有$\zeta(x+y)=\zeta(x)+\zeta(y)$ζ(x+y)=ζ(x)+ζ(y)

那么称函数 $\zeta$ζ为一个linear map（这部分的翻译有些问题，以英文为主）

接下来我们分别为 $R^n$Rn和$R^m$Rm指定一组基，,令 $y=\zeta(x)$y=ζ(x),那么上述的 $linear\quad map$linearmap就可以使用矩阵表示：
$x'=x_1e_1+\cdots+x_ne_n\\ y'=y_1e_1+\cdots+y_me_m\\ \qquad\\ y' =\begin{bmatrix} A_{1,1}&A_{1,2}&\cdots&A_{1,n}\\ A_{2,1}&A_{2,2}&\cdots&A_{2,n}\\ \vdots&\vdots&\ddots&\vdots\\ A_{m,1}&A_{m,2}&\cdots&A_{m,n}\\ \end{bmatrix} x'$x′=x1​e1​+⋯+xn​en​y′=y1​e1​+⋯+ym​em​y′=⎣⎢⎢⎢⎡​A1,1​A2,1​⋮Am,1​​A1,2​A2,2​⋮Am,2​​⋯⋯⋱⋯​A1,n​A2,n​⋮Am,n​​⎦⎥⎥⎥⎤​x′
当两个向量空间指定的都是标准基，那么矩阵 $A$A满足：
$\zeta(x)=Ax$ζ(x)=Ax
矩阵 $A$A就是 $\zeta$ζ 的变换矩阵

---

上面一部分我们考虑的是从$R^n\to R^m$Rn→Rm的线性变换（线性映射），接下来我们讨论在自身向量空间 $R^n\to R^n$Rn→Rn中的变换。

我们先看一个例子:

给定一个linear map：$\zeta(x)=8x$ζ(x)=8x,n=2
$\zeta(x)=5x= \begin{bmatrix} 8&0\\ 0&8 \end{bmatrix} x$ζ(x)=5x=[80​08​]x
对 $x$x的每个标准基都进行变换然后合成一个矩阵，这样就确定了一个变换矩阵。

首先，令$\{e_1,e_2,\cdots,e_n\}${e1​,e2​,⋯,en​} 和$\{e_1^{'},e_2^{'},\cdots,e_n^{'}\}${e1′​,e2′​,⋯,en′​}是 $R^n$Rn中的两组基。定义矩阵 $T$T为
$T=[e_1^{'},e_2^{'},\cdots,e_n^{'}]^{-1}[e_1,e_2,\cdots,e_n]$T=[e1′​,e2′​,⋯,en′​]−1[e1​,e2​,⋯,en​]
那么 $T$T称为从$\{e_1,e_2,\cdots,e_n\}${e1​,e2​,⋯,en​} 到$\{e_1^{'},e_2^{'},\cdots,e_n^{'}\}${e1′​,e2′​,⋯,en′​}的转换矩阵，显然有：
$[e_1,e_2,\cdots,e_n]=[e_1^{'},e_2^{'},\cdots,e_n^{'}]T$[e1​,e2​,⋯,en​]=[e1′​,e2′​,⋯,en′​]T
即 $T$T 的第 $i$i 列是 $e_i$ei​ 关于$\{e_1^{'},e_2^{'},\cdots,e_n^{'}\}${e1′​,e2′​,⋯,en′​}的坐标向量，可以证明$x'=Tx$x′=Tx(后续补充证明过程)

考虑线性变换
$\zeta:R^n\to R^n$ζ:Rn→Rn
$A$A为$\zeta$ζ关于$\{e_1,e_2,\cdots,e_n\}${e1​,e2​,⋯,en​} 的矩阵表示，B为其关于$\{e_1^{'},e_2^{'},\cdots,e_n^{'}\}${e1′​,e2′​,⋯,en′​}的矩阵表示，令$y=Ax$y=Ax且$y'=Bx'$y′=Bx′,因此有$y'=Ty=TAx=Bx'=BTx$y′=Ty=TAx=Bx′=BTx,从而可得$TA=BT或A=T^{-1}BT$TA=BT或A=T−1BT

给定两个矩阵 $A、B$A、B，如果存在一个非奇异矩阵 $T$T,使得$A=T^{-1}BT$A=T−1BT,那么称 $A$A和 $B$B是相似的。在不同的基下，相似矩阵对应的线性变换是相同的。