一、knn的原理
K-近邻算法采用测量不同特征值之间的距离方法进行分类。
问题是求某点的最近 K 个点。求两点间距离公式
，此外还可能需要增加权重
优点：精度高、对异常值不敏感、无数据输入假定。
缺点：时间复杂度高、空间复杂度高。
1、当样本不平衡时，比如一个类的样本容量很大，其他类的样本容量很小，输入一个样本的时候，K个临近值中大多数都是大样本容量的那个类，这时可能就会导致分类错误。可以对K临近点进行加权，也就是距离近的点的权值大，距离远的点权值小。
2、计算量较大，每个待分类的样本都要计算它到全部点的距离，根据距离排序才能求得K个临近点，可以先对已知样本点进行剪辑，事先去除对分类作用不大的样本。
适用数据范围：数值型和标称型
二、python实现knn
参考链接：https://www.cnblogs.com/lyuzt/p/10471617.html
'''
trainData - 训练集
testData - 测试集
labels - 分类
'''
def knn(trainData, testData, labels, k):
# 计算训练样本的行数
rowSize = trainData.shape[0]
# 计算训练样本和测试样本的差值
diff = np.tile(testData, (rowSize, 1)) - trainData
# 计算差值的平方和
sqrDiff = diff ** 2
sqrDiffSum = sqrDiff.sum(axis=1)
# 计算距离
distances = sqrDiffSum ** 0.5
# 对所得的距离从低到高进行排序
sortDistance = distances.argsort()
count = {}
for i in range(k):
vote = labels[sortDistance[i]]
count[vote] = count.get(vote, 0) + 1
# 对类别出现的频数从高到低进行排序
sortCount = sorted(count.items(), key=operator.itemgetter(1), reverse=True)
# 返回出现频数最高的类别
return sortCount[0][0]
python调用
from sklearn.neighbors import KNeighborsClassifier
neigh = KNeighborsClassifier(n_neighbors=3)
#根据数据判别性别
#身高、体重、鞋的尺寸
X = np.array([[181,80,44],[177,70,43],[160,60,38],[154,54,37],
[166,65,40],[190,90,47],[175,64,39],[177,70,40],
[159,55,37],[171,75,42],[181,85,43]])
display(X)
y = ['male','male','female','female','male','male','female','female','female','male','male']
# 第1步：训练数据
neigh.fit(X,y)
# 第2步：预测数据
Z = neigh.predict(np.array([[190,70,43],[168,55,37]]))
display(Z)
三、监督学习和非监督学习
通俗的说无监督的学习，就是事先不知道类别，自动将相似的对象归到同一个簇中。监督学习是指数据集的正确输出已知情况下的一类学习算法。因为输入和输出已知，意味着输入和输出之间有一个关系，监督学习算法就是要发现和总结这种“关系”。
监督学习常见算法有：线性回归、神经网络、决策树、支持向量机、KNN、朴素贝叶斯算法等
无监督学习常见算法有：主成分分析法（PCA）、异常检测法、自编码算法等。