1.1 KNN算法学习——KNN算法的原理及简单实现
原理:
如图已有分类基础上若新来了点该如何分类?
根据离得最近的点中找最近的k个点以这几个点的类别(label)进行投票以最后比例确定新的点类别的更大可能性
本质:如果两个样本足够的相似的话他们就有更高的可能性属于同一类别
实现:
例如图示为肿瘤时间与大小对于肿瘤的分类的影响,蓝色为恶性肿瘤,红色为良性肿瘤,当新来一个数据时(绿色数据点)如何判断它的类别?
编程实现预测:
KNN实现过程
#求预测点到最近k个点的距离然后投票
欧拉距离定义
从距离数组中获得最近的k个点,如果将X排序,与y则不对应,此处想获得的是索引,所以可以用argsort方法进行排序获得其索引找到最近的k个点在哪
Python的collection.Counter很好的支持投票结果的选取
获得投票结果为1所以y的预测结果为1