机器学习之数学基础(三) 矩阵和线性代数
文章目录
矩阵
以SVD为例
SVD的用法举例
SVD代码
奇异值分解—效果
行列式定义
方阵的行列式
代数余子式
伴随矩阵
方阵的逆
范德蒙行列式
矩阵的乘法/状态转移矩阵
矩阵的乘法
举例
概率 转移矩阵
应用:探索:初始概率π=[0.21, 0.68, 0.1]迭代
初始概率π=[0.75, 0.15, 0.1]的迭代结果
状态转移矩阵的特征向量是一个元素为1的列向量,特征值为1,(0.286,0.489,0.225)是特征值小于1对应的特征向量。
平稳分布
矩阵和向量组
矩阵和向量的乘法
矩阵的秩
秩与线性方程组的解的关系
推论
向量组等价
系数矩阵
对C=AB的重认识
特征值和特征向量
正交阵
特征值和特征向量
特征值的性质
不同特征值对应的特征向量
实对称阵的性质
实对称阵不同特征值的特征向量正交
若P为正交阵,则A和Λ的特征值不变。
对称阵的应用:白化/漂白whitening:白化操作一般作为某个处理过程的预处理,是一种特征选择的方法。
代码
正定阵
正定阵的判定
正定阵的应用
QR分解
QR分解计算特征值
LFM(Latent Factor Model)
矩阵求导
向量对向量求导
线性回归中直接使用下式
推导如下:
标量对向量求导
推导如下:
标量对矩阵求导
证明如下: