1.1 KNN算法学习——KNN算法的原理及简单实现

原理:

1.1 KNN算法学习——KNN算法的原理及简单实现

如图已有分类基础上若新来了点该如何分类?

根据离得最近的点中找最近的k个点以这几个点的类别(label)进行投票以最后比例确定新的点类别的更大可能性

本质:如果两个样本足够的相似的话他们就有更高的可能性属于同一类别

实现:

例如图示为肿瘤时间与大小对于肿瘤的分类的影响,蓝色为恶性肿瘤,红色为良性肿瘤,当新来一个数据时(绿色数据点)如何判断它的类别?

1.1 KNN算法学习——KNN算法的原理及简单实现

编程实现预测:

1.1 KNN算法学习——KNN算法的原理及简单实现

1.1 KNN算法学习——KNN算法的原理及简单实现

1.1 KNN算法学习——KNN算法的原理及简单实现

KNN实现过程

#求预测点到最近k个点的距离然后投票

欧拉距离定义

1.1 KNN算法学习——KNN算法的原理及简单实现

1.1 KNN算法学习——KNN算法的原理及简单实现

1.1 KNN算法学习——KNN算法的原理及简单实现

从距离数组中获得最近的k个点,如果将X排序,与y则不对应,此处想获得的是索引,所以可以用argsort方法进行排序获得其索引找到最近的k个点在哪

1.1 KNN算法学习——KNN算法的原理及简单实现

Python的collection.Counter很好的支持投票结果的选取

1.1 KNN算法学习——KNN算法的原理及简单实现

获得投票结果为1所以y的预测结果为1