机器学习第一周——KNN
代码实现:
from math import sqrt
import numpy as np
import matplotlib.pyplot as plt
from collections import Counter
raw_data_x是特征,raw_data_y是标签,0为良性,1为恶性
raw_data_X = [[3.393533211, 2.331273381],
[3.110073483, 1.781539638],
[1.343853454, 3.368312451],
[3.582294121, 4.679917921],
[2.280362211, 2.866990212],
[7.423436752, 4.685324231],
[5.745231231, 3.532131321],
[9.172112222, 2.511113104],
[7.927841231, 3.421455345],
[7.939831414, 0.791631213]
]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
设置训练组
X_train = np.array(raw_data_X)
y_train = np.array(raw_data_y)
将数据可视化
plt.scatter(X_train[y_train0,0],X_train[y_train0,1], color=‘g’, label = ‘Tumor Size’)
plt.scatter(X_train[y_train1,0],X_train[y_train1,1], color=‘r’, label = ‘Time’)
plt.xlabel(‘Tumor Size’)
plt.ylabel(‘Time’)
plt.axis([0,10,0,5])
plt.show()
x = [8.90933607318, 3.365731514]
distances = [] # 用来记录x到样本数据集中每个点的距离
for x_train in X_train:
d = sqrt(np.sum((x_train - x) ** 2))
distances.append(d) #这个循环的功能和下面的列表解析式相同,生成一个距离作为元素的列表
=============================================================================
# 使用列表生成器,一行就能搞定,对于X_train中的每一个元素x_train都进行前面的运算,把结果生成一个列表。
distances = [sqrt(np.sum((x_train - x) ** 2)) for x_train in X_train]
=============================================================================
print("distances= ", distances)
#这里我们使用函数:np.argsort(array) 对一个数组按照从小到大进行排序,返回的是相应的排序后结果的索引
nearest = np.argsort(distances)
print("nearest= ", nearest)
#然后我们选择k值,这里暂定为6,那就找出最近的6个点(top 6),并记录他们的标签值(y)
k = 6
topK_y = [y_train[i] for i in nearest[:k]]
print("topK_y= ", topK_y)
#下面进入投票环节。找到与测试样本点最近的6个训练样本点的标签y是什么。可以查不同类别的点有多少个。
#将数组中的元素和元素出现的频次进行统计
votes = Counter(topK_y)
print("votes= ",votes)
Counter.most_common(n) 找出票数最多的n个元素,返回的是一个列表,列表中的每个元素是一个元组,元组中第一个元素是对应的元素是谁,第二个元素是频次
print(votes.most_common(1))
predict_y = votes.most_common(1)[0][0]
print("predict_y= ", predict_y)
输出结果: