机器学习实战:kNN(k-近邻算法)

一、算法介绍

  • 监督学习算法
  • 分类算法
  • 查找与已有数据中最接近的k个类别,分类为出现类别最大概率的类别

二、一般流程:

机器学习实战:kNN(k-近邻算法)

三、代码实现:

机器学习实战:kNN(k-近邻算法)

python3中已经废弃iteritems()函数,使用会报错:

机器学习实战:kNN(k-近邻算法)

关键代码如下:

def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    print('dataSetSize:')
    print(dataSetSize)
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    print('diffMat:')
    print(diffMat)
    sqDiffMat=diffMat**2
    print('sqDiffMat:')
    print(sqDiffMat)
    sqDistances=sqDiffMat.sum(axis=1)
    print('sqDistances:')
    print(sqDistances)
    distances=sqDistances**0.5
    print('distances:')
    print(distances)
    sortedDistIndicies=distances.argsort()
    print('sortedDistIndicies:')
    print(sortedDistIndicies)
    classCount={}
    
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
        
    print('classCount:')
    print(classCount)
    
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    
    print('sortedClassCount:')
    print(sortedClassCount)
    return sortedClassCount[0][0]
    

使用Anaconda Navigator集成的JupyterLab软件运行:

机器学习实战:kNN(k-近邻算法)

传入参数,请求结果为:

机器学习实战:kNN(k-近邻算法)

 

详细问题可参考:

1.Python3字典中items()和python2.x中iteritems()有什么区别

2. Python 字典(Dictionary) get()方法

3. numpy中argsort函数用法

4. 【python系列】numpy中的tile函数

5. 机器学习实战k-邻近算法(kNN)简单实施代码解读