统计学习方法（三）：k近邻法

k近邻法：判别模型
模型： $y=\arg \max _{c_{j}} \sum_{x_{i} \in N_{k}(x)} I\left(y_{i}=c_{j}\right), \quad i=1,2, \cdots, N ; \quad j=1,2, \cdots, K$ 。 $I$ 为指示函数，即当 $y_{i}=c_{j}$ 时 $I$ 为 $1,$ 否则 $I$ 为 $0 $。
基本思想：在要预测的点画一个圈（也就是离该点距离最近的K个点作为一个邻域），然后看这个邻域中K个点属于哪个类别的多就判断该预测点为哪个类。
三要素：k值的选择、距离度量、分类决策规则
k值的选择：
- 当k=1时，称为最近邻法。
- 较小的k值：
  - 优：只有与实例相近的训练实例才会对预测结果起作用。近似误差会减小。
  - 缺：预测结果会对邻近的实力点敏感。估计误差会变大。
- 较大的k值：
  - 优：减少了估计误差。
  - 缺：与输入实例较远的（不相关的）点也会起作用。近似误差会变大。
距离度量：对两点之间的距离，度量方式有多种，如平时常用的欧式距离，还有曼哈顿距离（直接坐标减，不平方）等。
分类决策规则：多数表决规则，也就是圈子里哪个类别多，就预测为该类。