Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

Chapter 3 线性代数回顾

3.1 矩阵和向量

  • 图1:

Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

  • 图2:

    Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

  • 图3:我们通常使用1-indexed vector,有些情况下会换成 0-indexed

    Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

  • 通常 用 A,B,C,D 等大写英文字母表示矩阵,a,b,x,y 小写字母表示数字、标量、向量等。

3.2 加法和标量乘法

矩阵的加法:行列数相等的可以加。

Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

矩阵的乘法:每个元素都要乘

Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

组合算法也类似。

3.3 矩阵向量乘法

矩阵和向量的乘法如图:m×nm×n的矩阵乘以n×1n×1的向量,得到的是m×1m×1的向量

Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

算法举例:

Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

3.4 矩阵乘法

m×nm×n矩阵乘以n×on×o矩阵,变成m×om×o矩阵。

如果这样说不好理解的话就举一个例子来说明一下,比如说现在有两个矩阵AABB,那么它们的乘积就可以表示为图中所示的形式。

Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

3.5 矩阵乘法的性质

矩阵乘法的性质:

矩阵的乘法不满足交换律:A×BB×AA×B≠B×A

矩阵的乘法满足结合律。即:A×(B×C)=(A×B)×CA×(B×C)=(A×B)×C

单位矩阵:在矩阵的乘法中,有一种矩阵起着特殊的作用,如同数的乘法中的1,我们称这种矩阵为单位矩阵.它是个方阵,一般用 II 或者 EE 表示,本讲义都用 II 代表单位矩阵,从左上角到右下角的对角线(称为主对角线)上的元素均为1以外全都为0。如:

AA1=A1A=IA{{A}^{-1}}={{A}^{-1}}A=I

对于单位矩阵,有AI=IA=AAI=IA=A

3.6 逆、转置

  • 矩阵的逆:如矩阵AA是一个m×mm×m矩阵(方阵),如果有逆矩阵,则:AA1=A1A=IA{{A}^{-1}}={{A}^{-1}}A=I

我们一般在OCTAVE或者MATLAB中进行计算矩阵的逆矩阵。

  • 矩阵的转置:设AAm×nm×n阶矩阵(即mmnn列),第$i j 列的元素是a(i,j),即:A=a(i,j)定义A的转置为这样一个n×m阶矩阵B$:

    满足B=a(j,i)B=a(j,i),即 b(i,j)=a(j,i)b (i,j)=a(j,i)BB的第ii行第jj列元素是AA的第jj行第ii列元素),记AT=B{{A}^{T}}=B。(有些书记为A’=B)

    直观来看,将AA的所有元素绕着一条从第1行第1列元素出发的右下方45度的射线作镜面反转,即得到AA的转置。

例:

Chapter3:线性代数回顾:AndrewNg吴恩达《机器学习》笔记

  • 矩阵的转置基本性质:

$ {{\left( A\pm B \right)}{T}}={{A}{T}}\pm {{B}^{T}} $ (A×B)T=BT×AT{{\left( A\times B \right)}^{T}}={{B}^{T}}\times {{A}^{T}} ${{\left( {{A}^{T}} \right)}^{T}}=A $ ${{\left( KA \right)}{T}}=K{{A}{T}} $

MATLAB中矩阵转置:直接打一撇,x=y'