【机器学习数学基础--矩阵01】线性空间

范数

    定义：是一个描述线性空间的度量，可以理解为二维空间的长度。

    如||x1-x2||表示向量x1,x2之间的距离。

    *Frobenius范数：机器学习常用范数。     即：矩阵所有元素先取平方和，再开平方。

特征分解

    特征值：满足公式：  ，其中 λ 为特征值，x为A的对应于λ的特征向量。

    特征分解：公式： ，其中，P是A所有特征向量展开组成的矩阵。

        原理：AP=P×diag(...λi...)，展开可得。

正交分解

    正交矩阵：，即：

    标准正交基：n个n维向量： 中，若i=j，；若i≠j，，则该向量组称为一组标准正交基。即：与自己作内积等于1（平行），与其他向量作内积等于0（垂直）。

    正交矩阵性质：

        ①正交矩阵列向量是一组标准正交基。

        ②若A是一个正交矩阵， 是一组标准正交基，则也是一组标准正交基。

        ③正交变换几何意义：对直角坐标系做旋转变换。即：存在正交矩阵A，使得原来坐标为x=(x1,x2,...xn)的向量在新坐标系（旋转后）下的坐标为y=Ax。

    正交分解：，其中P为正交矩阵。

                    求法：施密特正交化

                    几何意义：将一般二次曲线经过坐标旋转将其主轴转到坐标轴上。

SVD(奇异值分解)

    对于非退化方阵（r=n）：，P,Q为是正交矩阵。

    对于一般矩阵（m×n）：，其中U为m阶正交矩阵，V为n阶正交矩阵，左上角为 ，r为矩阵A的秩。

伪逆

    伪逆：与矩阵的逆作用相似，每个矩阵都有伪逆。

    对于不相容线性方程组的解（即Ax=b无解）：

        存在x0，对任意x，都有，则称x0为方程组最小二乘解。对于所有x0，取长度     （范数）最小者，成为最佳最小二乘解。

    定理：①对矩阵A求SVD：，伪逆为：。其中， 为将取倒数后整                   体转置。

              ②对于m×n矩阵，Ax=b的最佳最小二乘解为。

              由这两条定理，即可求一般矩阵Ax=b的最佳最小二乘解。

PCA（主成分分析）

    这部分内容贴出课件，具体学到在深究。