k均值聚类算法

有监督学习主要用于分类和回归,而无监督学习的一个非常重要的用途就是对数据进行聚类. 分类是算法基于已有标签的数据进行学习并对新数据进行分类. 聚类则是在完全没有现有标签的情况下,有算法"猜测"哪些数据像是应该"堆"在一起的,并且让算法给不同的"堆"里的数据贴上一个数字标签. 1.K均值聚类算法 ############################# K均值聚类算法 ####################################### #导入numpy import numpy as np #导入数据集生成工具 from sklearn.datasets import make_blobs #导入数据集拆分工具 from sklearn.model_selection import train_test_split #导入画图工具 import matplotlib.pyplot as plt #生成数据集为1的数据集 blobs = make_blobs(random_state=1,centers=1) X_blobs = blobs[0] #绘制散点图 plt.scatter(X_blobs[:,0],X_blobs[:,1],c='r',edgecolor='k') #显示图像 plt.show() #导入KMeans工具 from sklearn

基于KMeans聚类的协同过滤推荐算法可运用于基于用户和基于项目的协同过滤推荐算法中，作为降低数据稀疏度和提高推荐准确率的方法之一，一个协同过滤推荐过程可实现多次KMeans聚类。 一、基于KMeans聚类的协同过滤推荐算法推荐原理 KMeans聚类算法是聚类算法中最基础最常用、最重要的聚类算法。KMeans聚类算法首先需要确定N个初始中心点，初始中心点的选择对聚类结果影响很大，常用的初始中心点的选择有随机选择、自定义、采用Canopy聚类算法结果作为初始中心点，然后是重复遍历点与簇中心的距离，并不断修正簇中心点，可设置遍历次数和点与簇中心的最小距离影响聚类结果。 聚类的数据可以是一维数组、二维数组、N维数组，其中一维和二维数组的聚类结果便于可视化，一维数组初始中心点的选择采用自定义，这样聚类效果偏好，二维和N维数组采用Canopy聚类算法的聚类结果作为初始中心点效果偏好。下面介绍一下Canopy聚类算法： Canopy聚类算法 Canopy聚类算法的基本原则是：首先应用成本低的近似的距离计算方法高效的将数据分为多个组，这里称为一个 Canopy，暂时翻译为“树冠”，Canopy之间可以有重叠的部分；然后采用严格的距离计算方式准确的计算在同一Canopy中的点，将他们分配与最合适的簇中。Canopy聚类算法经常用于K均值聚类算法的预处理，用来找合适的k值和簇中心。

k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小。 定义 聚类是一个将数据集中在某些方面相似的数据成员进行分类组织的过程，聚类就是一种发现这种内在结构的技术，聚类技术经常被称为无监督学习。 k均值聚类是最著名的划分聚类算法，由于简洁和效率使得他成为所有聚类算法中最广泛使用的。给定一个数据点集合和需要的聚类数目k，k由用户指定，k均值算法根据某个距离函数反复把数据分入k个聚类中。 算法 先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个初始聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是以下任何一个： 　　1)没有（或最小数目）对象被重新分配给不同的聚类

1. 概述 K-means聚类算法也称k均值聚类算法，是集简单和经典于一身的基于距离的聚类算法。它采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为类簇是由距离靠近的对象组成的，因此把得到 紧凑且独立的簇作为最终目标。 2. 算法核心思想 K-means聚类算法是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）对象被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小。 3. 算法实现步骤 1、首先确定一个k值，即我们希望将数据集经过聚类得到k个集合。 2、从数据集中随机选择k个数据点作为质心。 3、对数据集中每一个点，计算其与每一个质心的距离（如欧式距离），离哪个质心近，就划分到那个质心所属的集合。 4、把所有数据归好集合后，一共有k个集合。然后重新计算每个集合的质心。 5、如果新计算出来的质心和原来的质心之间的距离小于某一个设置的阈值（表示重新计算的质心的位置变化不大，趋于稳定，或者说收敛），我们可以认为聚类已经达到期望的结果，算法终止。

目录 K-Means聚类算法 一、K-Means聚类算法学习目标 二、K-Means聚类算法详解 2.1 K-Means聚类算法原理 2.2 K-Means聚类算法和KNN 三、传统的K-Means聚类算法流程 3.1 输入 3.2 输出 3.3 流程 四、K-Means初始化优化之K-Means++ 五、K-Means距离计算优化之elkan K-Means 六、大数据优化之Mini Batch K-Means 七、K-Means聚类算法优缺点 7.1 优点 7.2 缺点 八、小结 更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你： https://www.cnblogs.com/nickchen121/ K-Means聚类算法 K-means聚类算法属于无监督学习算法，它实现简单并且聚类效果优良，所以在工业界也被广泛应用。同时K-Means聚类算法也有大量的变体，本文将从最传统的K-Means聚类算法讲起，让后在其基础上讲解K-Means聚类算法的变体，其中它的变体包括初始化优化K-Means++、距离计算优化elkan K-Means和大数据情况下的优化Mini Batch K-Means算法。 一、K-Means聚类算法学习目标 K-Means聚类算法原理以及它的优缺点 K-Means初始化优化之K-Means++算法 K

步骤 1.随机选择k个初始点作为聚类中心 2.将数据中每个对象赋予给最近的聚类中心 3.每一类数据求取质心，作为新的聚类中心 4.重复2和3，直到满足结束条件（迭代步数或者最终的聚类中心变化较小或者误差平方和变化较小） 注意：1.这里初始化是随机的，这会导致局部最优解，可以通过不断地做2均值聚类来提高性能，这是二分k均值算法，每次选择聚类后误差平方和最小的方式做2均值聚类 2.使用误差平方和，也就是每一类的数据点的方差之和作为衡量聚类效果的指标 问题：如何保证多次迭代后一定会使得误差平方和稳定？ 来源： https://blog.csdn.net/math_computer/article/details/100807053