距离度量

特征空间中两个实例点的距离可以反映出两个实力点之间的相似性程度，使用的距离可以是欧式距离，也可以是其他距离。

• 欧氏距离(L2距离)：最常见的两点之间或多点之间的距离表示法，又称之为欧几里得度量，它定义于欧几里得空间中：
  
  
• 曼哈顿距离(L1距离)：我们可以定义曼哈顿距离的正式意义为L1距离或城市区块距离，也就是在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投射的距离总和。
  通俗来讲，想想你在曼哈顿要从一个十字路口开车到另一个十字路口，驾驶距离是两点间的直线距离吗？显然不不是，除非你能穿越大楼。而实际驾驶距离就是这个“曼哈顿距离”,此即曼哈顿距离名称的来源，同时，曼哈顿距离也称为城市街区距离。

• 切比雪夫距离：
  

• 闵可夫斯基距离：它不是一种距离，而是一组距离的定义。
  
  当p=1时，即曼哈顿距离
  当p=2时，即欧式距离
  当p趋于无穷时，即切比雪夫距离

• 夹角余弦：几何中夹角余弦可用来衡量两个向量方向的相似度，机器学习中借用这一概念来衡量向量之间的相似度。