第二章 线性代数
一、标量、向量、矩阵和张量
1. 标量（scalar）：一个标量就是一个单独的数 。当我们介绍标量时，会明确它们是哪种类型的数。
2. 向量（vector）：一个向量是一列数 。
3. 矩阵（matrix）：矩阵是一个二维数组，其中的每一个元素被两个索引（而非一个）所确定。
4. 张量（tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。
5. 转置（transpose）：矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为 主对角线
向量可以看作只有一列的矩阵。对应地，向量的转置可以看作是只有一行的矩阵。
标量可以看作是只有一个元素的矩阵。因此，标量的转置等于它本身， a = a⊤。
二、矩阵和向量相乘
1. 两个矩阵的标准乘积：矩阵 A 的形状是 m × n，矩阵 B 的形状是 n × p，那么矩阵的形状是 m× p。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法， C=AB。
2. 两个矩阵中对应元素的乘积 ：元素对应乘积（element-wise product）或者 Hadamard 乘积（Hadamard product），记为 A ⊙ B 。
3. 矩阵乘积运算性质 ：
a. 分配律： A(B + C) = AB + AC
b. 结合律： A(BC) = (AB)C
c. 不满足交换律 ,但是两个向量的 点积（dot product）满足交换律 ：x⊤y = y⊤x
d. 矩阵乘积的转置：(AB)⊤ = B⊤A⊤
三、单位矩阵和逆矩阵
1. 单位矩阵 ：任意向量和单位矩阵相乘，都不会改变。我们将保持 n 维向量不变的单位矩阵记作 In：
2. 矩阵逆 ：矩阵 A 的 矩阵逆（matrix inversion）记作 ：
四、线性相关和生成子空间
五、范数
六、特殊类型的矩阵和向量
七、特征分解
八、奇异值分解
九、Moore-Penrose 伪逆
十、迹运算
十一、行列式
1. 记作 det(A) ，是一个将方阵 A 映射到实数的函数。
2. 行列式等于矩阵特征值的乘积。
3. 行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少（线性变化的伸缩因子）：如果行列式是 0，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积。如果行列式是 1，那么这个转换保持空间体积不变。
二阶行列式计算：主对角线上的两元素之积减去副对角线上的两元素之积的差，a11*a22 - a12*a21
三阶行列式计算：规律如下图的对角线法则：图中三条实线看做是平行于主对角线的联线，三条虚线看做是平行于副对角线的联线。实线上三元素的乘积冠正号，虚线上三元素的乘积冠负号。