机器学习基础-线性代数学习

记录线性代数学习中的各个概念

向量和向量空间

标量:是个单独的数字,不能表示方向

向量:也可叫做矢量,一组数字,有序排列,可以用数组或者链表表示

特征向量:物体的特征有很多维度衡量,我们可以用向量表示物体的特征,向量的每个元素代表一维的特征,元素的值代表了相应特征的值

矩阵特征向量:矩阵的几何意义是坐标变换,如果矩阵存在特征向量和特征值,矩阵的特征向量表示了他在空间中最主要的运动方向

向量的运算

加法

乘法:默认是点乘

两个向量变成了标量

矩阵的运算

加法:对应位置的元素相加

乘法:公式如下

转置

单位矩阵: 对角线是1,其余都是0的为单位矩阵

逆矩阵:如果矩阵X与矩阵Y相乘得到的单位矩阵,则x和y互为逆矩阵

 

向量空间模型

向量之间的距离

闵式距离:

p=1 曼哈顿距离

p=2 欧氏距离

p->正无穷  契比雪夫距离

向量的长度:一般使用欧氏距离

范数:Lp范数指的是使用闵式距离中的对应的p求出的距离,讨论向量长度时,需要弄清楚是L几范数

向量之间的夹角:

向量的空间模型:向量空间模型假设所有的对象都可以转换为向量,使用向量见得距离(欧氏距离)或者向量之间的夹角余弦表示两个对象之间的相似程度

余弦取值范围在-1到1之间,越大越相似,欧式距离ED取值范围可能很大,与相似度反比,需要进行1/(1-ED)这种归一化

当ED为0的时候,变化后的值为1,表示相似度为1,完全相同,ED趋向无穷大的时候,对应的值为0,表示相似度为0,变化后的值,取值范围是0-1,与相似度呈现正比关系

机器学习中使用K临近算法和K均值聚类