机器学习-统计学习方法第二版学习笔记-第三章 K近邻法
第三章 K近邻法
3.2 K近邻模型
K近邻方法没有显示的模型形式，它有三个基本要素：距离变量、K值的选择和分类和分类决策规则。
距离变量
这里p>=1.当p=2时，称为欧氏距离；
p=1时，称为曼哈顿距离；
p=∞时，它是各个坐标距离的最大值。
K值的选择
K值的选择会对K近邻法的结果产生重大影响。
K太小，就相当于用较小的领域中的训练实例进行预测，学习的近似误差会减小，只有与输入实例较近的训练实例才会对预测结果起作用，缺点是学习的估计误差会增大，预测结果会对近邻的实例点非常敏感。
K太大，就相当于用较大领域中的训练实例进行预测。优点是可以较少学习的估计误差，但缺点是学习的近似误差会增大。这时与输入实例较远的训练实例也会对预测起作用，使预测发生错误。
在应用中，K一般取一个较小的值。
分类决策规则
K近邻法的分类决策规则往往是多数表决，即由输入实例的K个临近的训练实例中的多数类觉得输入实例的类。
要使误分类最小即经验风险最小，就要使多数表决式子最大，所以多数表决规则等价于经验风险最小化。
K近邻法的实现：kd树