机器学习—K近邻算法(简单介绍)

K近邻算法(KNN,k-Nearest Neighbor)

所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表。

基本要素:

1.K值的选取
2.距离度量

3.分类决策规划

算法:

1)计算测试数据与各个训练数据之间的距离;
2)按照距离的递增关系进行排序;
Python的numpy库中根据数组位序排序的方法argsort()
3)选取距离最小的K个点;
4)确定前K个点所在类别的出现频率;

5)返回前K个点中出现频率最高的类别作为测试数据的预测分类

机器学习—K近邻算法(简单介绍)