knn

代码来自《机器学习实战》 https://github.com/wzy6642/Machine-Learning-in-Action-Python3 K-近邻算法(KNN) 介绍 简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。 优点：精度高、 对异常值不敏感 ，无数据输入假定。 缺点：计算复杂度高、空间复杂度高，无法给出数据的内在含义。 使用数据范围：数值型、标称型。 分类函数的伪代码： 　　对未知类别属性的数据集中的每个点依次执行以下操作： 　　（1）计算已知类别数据集中的点与当前点之间的距离； 　　（2）按照距离递增次序排序； 　　（3）选取与当前点距离最小的k个点； 　　（4）确定前k个点所在类别的出现概率； 　　（5）返回前k个点出现频率最高的类别作为当前点的预测分类。 1 """创建数据集 2 返回: group - 数据集 3 labels - 分类标签 4 """ 5 def createDataSet(): 6 # 四组二维特征 7 group = np.array([[1, 101], [5, 89], [108, 5], [115, 8]]) 8 # 四组特征的标签 9 labels = ['爱情片', '爱情片', '动作片', '动作片'] 10 return group, labels 11 12 13 """ 14 KNN算法，分类器

K近邻（K Nearest Neighbor，KNN），可以做分类，也可以做回归。 一、基本思想 给定一组训练集，有一个需要判断类别的输入实例，离输入实例最近的K个训练数据属于哪个类别，就判断输入实例属于哪个类别。 二、分类算法描述： 1、计算输入实例和所有训练集数据的距离； 2、按距离升序排序； 3、选择排序后的前K个训练子集数据； 4、根据选择出来的K个训练子集数据的类别，使用判别规则（一般是多数投票），预测输入实例的类别。 这样实现也叫蛮力算法，适合样本量少的时候使用。 三、影响因素： 根据以上描述，我们可以归纳影响KNN的主要因素：1、距离的度量 2、K值 3、判别规则。下面具体说下这3个因素是怎么影响KNN的。 距离的度量 计算2个n维数据点的距离公式，闵可夫斯基距离是最一般的形式： 其中， l 是数据点的特征，因为数据点是n维的，所以 l 能从1取到n，数据点 xi 和 xj 之间的距离就等于， xi 和 xj 每个特征相减的绝对值的p次方，求和后开 p次根号。 一般，p 取1、2、∞。 P = 1，叫曼哈顿距离。 P = 2，叫欧式距离。 P = ∞，切比雪夫距离，注意一点的是这个距离的含义，他表示特征差的最大值，不再是所有特征差，只取最大的那个。至于为什么是这样，我还没搞懂。 当然还有更多的求距离的公式，以后学了再添加。 值域变化大的特征会对距离产生较大的影响