机器学习之数学基础(三) 矩阵和线性代数

矩阵

以SVD为例

机器学习之数学基础(三) 矩阵和线性代数

SVD的用法举例

机器学习之数学基础(三) 矩阵和线性代数

SVD代码

机器学习之数学基础(三) 矩阵和线性代数

奇异值分解—效果

机器学习之数学基础(三) 矩阵和线性代数

行列式定义

机器学习之数学基础(三) 矩阵和线性代数

方阵的行列式

机器学习之数学基础(三) 矩阵和线性代数
机器学习之数学基础(三) 矩阵和线性代数

代数余子式

机器学习之数学基础(三) 矩阵和线性代数

伴随矩阵

机器学习之数学基础(三) 矩阵和线性代数

方阵的逆

机器学习之数学基础(三) 矩阵和线性代数

范德蒙行列式

机器学习之数学基础(三) 矩阵和线性代数

矩阵的乘法/状态转移矩阵

矩阵的乘法

机器学习之数学基础(三) 矩阵和线性代数
举例
机器学习之数学基础(三) 矩阵和线性代数

概率 转移矩阵

机器学习之数学基础(三) 矩阵和线性代数
应用:探索:初始概率π=[0.21, 0.68, 0.1]迭代
机器学习之数学基础(三) 矩阵和线性代数
初始概率π=[0.75, 0.15, 0.1]的迭代结果
机器学习之数学基础(三) 矩阵和线性代数
状态转移矩阵的特征向量是一个元素为1的列向量,特征值为1,(0.286,0.489,0.225)是特征值小于1对应的特征向量。

平稳分布
机器学习之数学基础(三) 矩阵和线性代数
机器学习之数学基础(三) 矩阵和线性代数

矩阵和向量组

矩阵和向量的乘法

机器学习之数学基础(三) 矩阵和线性代数

矩阵的秩

机器学习之数学基础(三) 矩阵和线性代数

秩与线性方程组的解的关系

机器学习之数学基础(三) 矩阵和线性代数

推论

机器学习之数学基础(三) 矩阵和线性代数

向量组等价

机器学习之数学基础(三) 矩阵和线性代数

系数矩阵

机器学习之数学基础(三) 矩阵和线性代数

对C=AB的重认识

机器学习之数学基础(三) 矩阵和线性代数

特征值和特征向量

正交阵

机器学习之数学基础(三) 矩阵和线性代数

特征值和特征向量

机器学习之数学基础(三) 矩阵和线性代数
特征值的性质
机器学习之数学基础(三) 矩阵和线性代数
不同特征值对应的特征向量机器学习之数学基础(三) 矩阵和线性代数

实对称阵的性质

机器学习之数学基础(三) 矩阵和线性代数
机器学习之数学基础(三) 矩阵和线性代数

实对称阵不同特征值的特征向量正交

机器学习之数学基础(三) 矩阵和线性代数
机器学习之数学基础(三) 矩阵和线性代数
若P为正交阵,则A和Λ的特征值不变。

对称阵的应用:白化/漂白whitening:白化操作一般作为某个处理过程的预处理,是一种特征选择的方法。

机器学习之数学基础(三) 矩阵和线性代数
代码
机器学习之数学基础(三) 矩阵和线性代数

正定阵

机器学习之数学基础(三) 矩阵和线性代数
机器学习之数学基础(三) 矩阵和线性代数

正定阵的判定

机器学习之数学基础(三) 矩阵和线性代数

正定阵的应用

机器学习之数学基础(三) 矩阵和线性代数
机器学习之数学基础(三) 矩阵和线性代数

QR分解

机器学习之数学基础(三) 矩阵和线性代数

QR分解计算特征值

机器学习之数学基础(三) 矩阵和线性代数

LFM(Latent Factor Model)

机器学习之数学基础(三) 矩阵和线性代数

矩阵求导

向量对向量求导

线性回归中直接使用下式
机器学习之数学基础(三) 矩阵和线性代数
推导如下:
机器学习之数学基础(三) 矩阵和线性代数

标量对向量求导

机器学习之数学基础(三) 矩阵和线性代数
推导如下:
机器学习之数学基础(三) 矩阵和线性代数

标量对矩阵求导

机器学习之数学基础(三) 矩阵和线性代数
证明如下:
机器学习之数学基础(三) 矩阵和线性代数