机器学习中的数学基础：（1.1）矩阵特征值和特征向量的几何意义
给定一个二维矩阵
先求出该矩阵的特征值与特征向量，特征值分别获是：，
对应的特征向量为：
（列向量）PS：此处的U是正交矩阵，根据正交矩阵的性质，可以有
如果从定义来理解特征向量的化，某一物体经过该矩阵A变换后，该物体在空间内沿着特征向量的方向上相当于只是发生了缩放。
借用经典的笑脸图案来进行说明：
（为了方便演示笑脸图案分布在0-1的单位正方形内，并将两个特征向量在图中表示出来，两个箭头的方向表示两个特征向量的方向）（以二维矩阵演示，高维类似）
将这个笑脸图案经过矩阵A的变换，即用这个图案中的每个点的坐标和这个矩阵做乘法，得到下面图案：
由上边变换后的图案我们可以看到，笑脸图案沿着两个正交的特征向量的方向进行了缩放。
根据特征向量的性质我们知道，（下边有举例计算）即
，那么可得
特征向量的性质：（后边分析要用到）
- 线性变换的特征向量是是指在变换下方向不变，或者简单地乘以一个缩放因子的非零向量。
- 特征向量对应的特征值是它所乘的那个缩放因子。
- 特征空间就是由所有有着相同特征值的特征向量组成的空间，还包括零向量，但要注意零向量本身不是特征向量。
- 线性变换的主特征向量是最大特征值对应的特征向量。
- 特征值的几何重次是相应特征空间的维数。
- 有限维向量空间上的一个线性变换的谱是其所有特征值的集合。
例如，三维空间中的旋转变换的特征向量是沿着旋转轴的一个向量，相应的特征值是1，相应的特征空间包含所有和该轴平行的向量。该特征空间是一个一维空间，因而特征值1的几何重次是1。特征值1是旋转变换的谱中唯一的实特征值。
-----------------总结--------------
上述笑脸变换的意思就是：
假设我们把上述的笑脸图案作为一个矩阵C，那么矩阵可以理解为把矩阵A作用于C，由上述我们可以知道矩阵A可以拆解为（
），所以：
从上述式子我们可以看出A矩阵是从旋转和沿轴（特征向量作为轴）缩放的角度来作用于C，分成3步理解：
第一步：（C矩阵先左乘
）是把特征向量所指的方向分别转到横轴和纵轴，即相当于用
（对C）进行了变换。（图片旋转）
对特征向量进行旋转相当于将图片即矩阵C也进行了旋转。
第二步：（再左乘A）然后把特征值作为缩放倍数，即乘
，利用特征值构造一个缩放矩阵
，那么矩阵C分别沿着横轴和纵轴进行缩放。（图片缩放）
第三步：（再左乘U），由结果可以看出接下来把图案转回去。
PS：所以从旋转和缩放的角度，一个矩阵变换就是，旋转--->沿坐标轴缩放--->旋转回来，这三步操作。
PS：以上都是左乘，如果右乘呢？？？
上述给的矩阵A是一个（半）正定矩阵的例子，对于不正定的矩阵也是可以分解为：旋转--->沿坐标轴缩放--->旋转，这三步。（不同的是最后一步和第一步的两个旋转不是转回去的关系了），表达式如下：
这个就是SVD的分解。
-----------矩阵的正定与半正定--------
首先半正定矩阵定义为：，其中X 是向量，M 是变换矩阵
我们换一个思路看这个问题，矩阵变换中，代表对向量 X进行变换，我们假设变换后的向量为Y，记做
。于是半正定矩阵可以写成：
这个是不是很熟悉呢？ 他是两个向量的内积。 同时我们也有公式：
||X||, ||Y||代表向量 X,Y的长度，是他们之间的夹角。 于是半正定矩阵意味着
(正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。)
向量内积的几何意义
内积（点乘）的几何意义包括：
- 表征或计算两个向量之间的夹角
- b向量在a向量方向上的投影
有公式：
判断两个向量是否同一方向或正交(即垂直)等方向关系，具体对应关系为：
a∙b>0→方向基本相同，夹角在0°到90°之间
a∙b=0→ 正交，相互垂直
a∙b<0→ 方向基本相反，夹角在90°到180°之间
向量内外积的几何意义：https://www.cnblogs.com/gxcdream/p/7597865.html
（2）从特征值角度理解：
若所有特征值均不小于零，则称为半正定。
若所有特征值均大于零，则称为正定。
------>左乘
可得
半正定的话：，所以：
。（向量x转置乘x相当于平方肯定大于等于0）