cs231n笔记(1)——-KNN算法
图像分类:KNN算法(K—最近邻算法)
一.定义
定义:KNN是通过测量不同特征值之间的距离进行分类。它的的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。KNN算法中,所选择的邻居都是已经正确分类的对象。(K在此例中为圆的半径)
二.解释
比如此例子中绿色为需判断类。
当K=1时(即实线圆),红色三角占2/3,所以我们人为样本也是红色三角。
当K=2时(即虚线),蓝色为3/5,占多数,算法会将样本归为蓝色方形。
三.距离
关于距离,一般有两种:
1.欧式距离:
2.曼哈顿距离:
四.在图像识别中的应用
在图像识别中,自己理解只是应用KNN的思想,距离并不是实际意义上的距离,而是样本图片像素与标准图片的差距,例如:
1)计算测试数据与各个训练数据之间的距离:每个像素点的差距再求和;
2)按照距离的递增关系进行排序;
3)选取距离最小的n个点;
4)确定n个点所在类别的出现频率;
5)返回前n个点中出现频率最高的类别作为测试数据的预测分类
如果数据过少,可以使用交叉验证法,在选择中反复选择测试验证折,在所有可能的测试折的选择中选出效果最好的。但是KNN很少被采用的原因是效率低。
参考文章:https://www.cnblogs.com/ybjourney/p/4702562.html
cs231n地址:http://study.163.com/course/courseLearn.htm?courseId=1003223001#/learn/video?lessonId=1004015843&courseId=1003223001