【机器学习实战】K-近邻算法

1.概述

k-近邻算法采用测量不同特征值之间的距离方法进行分类。

优点:精度高,对异常值不敏感,无数据输入假定。

缺点:计算复杂度高,空间复杂度高。

适用数据范围:数值型和标称型。

工作原理:

【机器学习实战】K-近邻算法

算法流程:

【机器学习实战】K-近邻算法

 

2.小结

k-近邻算法是分类数据最简单有效的算法,它基于实例的学习,使用算法时我们必须有训练样本数据。k-近邻算法必须保存全部数据集,如果训练数据集很大,必须使用大量的存储空间。此外,由于必须对数据集中的每个数据计算距离值,实际使用时可能非常耗时。

k-近邻算法的另一个缺陷是无法给出任何数据的基础结构信息,因此我们也无法知晓平均实例样本和典型实例样本具有什么特征。