聚类

EM算法---身边常用的算法 贝叶斯分类 高斯混合聚类 半监督学习--生成式方法 EM算法很常用，下面就简单总结下，使用到EM算法的一些算法。 贝叶斯分类   现实中，会遇到“不完整”的训练样本，如某些属性变量值未知，即存在“未观测到”变量情形下，可以使用EM算法。   基本思想是：若参数已知，则可根据训练数据推断出最优隐变量的值（E步），反之，若隐变量的值已知，则可方便的对参数做极大似然估计（M步）。   简单来说，EM算法使用两个步骤交替计算： 第一步：E步。利用当前估计的参数值（参数初始值人为设定）来计算对数似然的期望值； 第二步：M步，即最大化步。寻找能使E步产生的似然期望最大化的参数值； 第三步：交替。新得到的参数用于E步，…直至收敛到局部最优解。 高斯混合聚类   假定样本由k个高斯分布混合生成，高斯混合聚类采用概率模型来表达聚类模型。高斯混合聚类采用EM算法进行迭代优化求解。 令随机变量zj∈{1, 2, 3, …， k}表示生成样本xj的高斯混合成分，其取值未知（相当于是隐变量）。   公式推导可见周志华的《机器学习》，第208页-209页。   高斯混合聚类的EM算法思想： E步：在每步迭代中，先根据当前参数来计算每个样本属于每个高斯成分的zj的后验概率； M步：再根据极大似然法估计的公式，更新模型参数。 半监督学习–生成式方法   在半监督学习中

第10章 K-均值聚类算法([代码][ch10]) K-均值算法的优缺点 K-均值是发现给定数据集的 K 个簇的聚类算法, 之所以称之为 K-均值 是因为它可以发现 K 个不同的簇, 且每个簇的中心采用簇中所含值的均值计算而成. 簇个数 K 是用户指定的, 每一个簇通过其质心（centroid）, 即簇中所有点的中心来描述. 聚类与分类算法的最大区别在于, 分类的目标类别已知, 而聚类的目标类别是未知的. 优点:容易实现 缺点:可能收敛到局部最小值，在大规模数据集上收敛较慢 使用数据类型 : 数值型数据 K-均值聚类算法 伪代码 创建 k 个点作为起始质心（通常是随机选择） 当任意一个点的簇分配结果发生改变时（不改变时算法结束） 对数据集中的每个数据点 对每个质心 计算质心与数据点之间的距离 将数据点分配到距其最近的簇 对每一个簇, 计算簇中所有点的均值并将均值作为质心 开发流程 收集数据：使用任意方法 准备数据：需要数值型数据类计算距离, 也可以将标称型数据映射为二值型数据再用于距离计算 分析数据：使用任意方法 训练算法：不适用于无监督学习，即无监督学习不需要训练步骤 测试算法：应用聚类算法、观察结果.可以使用量化的误差指标如误差平方和（后面会介绍）来评价算法的结果. 使用算法：可以用于所希望的任何应用.通常情况下, 簇质心可以代表整个簇的数据来做出决策. K-均值 的评价标准

K均值聚类的理解和实现 1. 距离的测度 1.1 欧式距离 1.2 马氏距离 1.2.1 利用马氏距离对数据进行归一化 1.2.2 利用马氏距离进行分类 2. K均值的基本理论 2.1 K均值的原理和实现 2.2 K均值的缺点 2.3 K均值改进 3. 算法实现 3.1 获取样本 3.2 协方差逆阵方根的计算方法 3.3 聚类实验 3.3.1 一般的K均值聚类 3.3.2 基于马氏距离K-means++聚类 3.3.3 基于肘部法则的K-means++聚类 4.参考资料 1. 距离测度 1.1 欧式距离 在 数学中 ， 欧氏距离 或 欧几里德度量 是 欧几里得空间中 两点之间的“普通” 直线距离 。通过这个距离，欧几里德空间成为 度量空间 。相关的 规范 称为 欧几里得范数 。 较早的文献将 度量 指为 毕达哥拉斯度量 。 广义 的欧几里得范数项是 L2范数 或 L2距离 。 通常，对于n维空间来说，欧几里得距离可以表示为： 中的欧式距离如图1.1-1所示： 图1.1-1 中欧几里得距离的表达 标准的欧几里德距离可以是平方的，以便逐渐将更大的重量放置在更远的物体上。在这种情况下，等式变为： 平方欧几里德距离不是一个 度量 ，因为它不满足三角不等式 ; 然而，它经常用于仅需要比较距离的优化问题。 它在 理性三角学 领域也被称为 quadrance 。 1.2 马氏距离

''' 聚类：分类（class）与聚类（cluster）不同，分类是有监督学习模型，聚类属于无监督学习模型。 聚类讲究使用一些算法把样本划分为n个群落。一般情况下，这种算法都需要计算欧氏距离。（用两个样本对应特征值之差的平方和之平方根， 即欧氏距离，来表示这两个样本的相似性） 1.K均值算法： 第一步：随机选择k个样本作为k个聚类的中心，计算每个样本到各个聚类中心的欧氏距离， 将该样本分配到与之距离最近的聚类中心所在的类别中。 第二步：根据第一步所得到的聚类划分，分别计算每个聚类的几何中心，将几何中心作为新的聚类中心， 重复第一步，直到计算所得几何中心与聚类中心重合或接近重合为止。 注意： 聚类数k必须事先已知。借助某些评估指标，优选最好的聚类数。 聚类中心的初始选择会影响到最终聚类划分的结果。初始中心尽量选择距离较远的样本。 K均值算法相关API： import sklearn.cluster as sc # n_clusters: 聚类数 model = sc.KMeans(n_clusters=4) # 不断调整聚类中心，直到最终聚类中心稳定则聚类完成 model.fit(x) # 获取训练结果的聚类中心 centers = model.cluster_centers_ 案例：加载multiple3.txt，基于K均值算法完成样本的聚类。 步骤： 1.读取文件，加载数据

分类机器学习 对于有标签数据分类预测问题，除了直接选用分类算法进行分类外，还可以先对数据进行聚类，在各个子类中进行分类。通过聚类可以引入更多信息，使得更好提高分类效果。除了聚类也可以通过其它数据挖掘方式获取先验信息以帮助分类 来源： CSDN 作者： 千哲 链接： https://blog.csdn.net/m0_46113418/article/details/104109968

聚类 相关概念 1、无监督学习： 无监督学习是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的数据进行分类或分群。无监督学习的主要运用包含：聚类分析、关系规则、维度缩减。它是监督式学习和强化学习等策略之外的一种选择。 一个常见的无监督学习是数据聚类。在人工神经网络中，生成对抗网络、自组织映射和适应性共振理论则是最常用的非监督式学习。 2、聚类： 聚类是一种无监督学习。聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集，这样让在同一个子集中的成员对象都有相似的一些属性，常见的包括在坐标系中更加短的空间距离等。 聚类和分类的区别 数据分类是分析已有的数据，寻找其共同的属性，并根据分类模型将这些数据划分成不同的类别，这些数据赋予类标号。这些类别是事先定义好的，并且类别数是已知的。相反，数据聚类则是将本没有类别参考的数据进行分析并划分为不同的组，即从这些数据导出类标号。聚类分析本身则是根据数据来发掘数据对象及其关系信息，并将这些数据分组。每个组内的对象之间是相似的，而各个组间的对象是不相关的。不难理解，组内相似性越高，组间相异性越高，则聚类越好。 K-means聚类算法 k-means算法以数据间的距离作为数据对象相似性度量的标准，因此选择计算数据间距离的计算方式对最后的聚类效果有显著的影响，常用计算距离的方式有：余弦距离、欧式距离、曼哈顿距离等 代码实现：

以下是摘抄自知乎上对监督学习与非监督学习的总结，觉得写得很形象，于是记下： 这个问题可以回答得很简单：是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习 首 先看什么是学习（learning）？一个成语就可概括：举一反三。此处以高考为例，高考的题目在上考场前我们未必做过，但在高中三年我们做过很多很多题 目，懂解题方法，因此考场上面对陌生问题也可以算出答案。机器学习的思路也类似：我们能不能利用一些训练数据（已经做过的题），使机器能够利用它们（解题 方法）分析未知数据（高考的题目）？ 最简单也最普遍的一类机器学习算法就是分类（classification）。对于分类，输入的训练 数据有特征（feature），有标签（label）。所谓的学习，其本质就是找到特征和标签间的关系（mapping）。这样当有特征而无标签的未知数 据输入时，我们就可以通过已有的关系得到未知数据标签。 在上述的分类过程中，如果所有训练数据都有标签，则为有监督学习（supervised learning）。如果数据没有标签，显然就是无监督学习（unsupervised learning）了，也即聚类（clustering）。 （但有监督学习并非全是分类，还有回归（regression），此处不细说。（哇擦，贵圈太乱，逼着我用了这么多括号））

04-sklearn算法实现聚类 import numpy as np import matplotlib . pyplot as plt from sklearn . cluster import KMeans def build_data ( ) : """ 加载数据 :return:data """ # 加载.txt文件 # python ---with open # numpy ----loadtxt ---数组类型的txt # pandas ---read_table data = np . loadtxt ( './test.txt' , delimiter = '\t' ) # 将数组转化为矩阵 data = np . mat ( data ) print ( 'data:\n' , data ) print ( 'data:\n' , type ( data ) ) return data def show_res ( data , y_predict , center ) : """ 结果展示 :param data: data :param y_predict:样本所属类别 :param center:聚类中心 :return: """ # 1、创建画布 plt . figure ( ) # 修改RC参数，让其支持中文 plt . rcParams [

数据挖掘（金融） ​ 数据挖掘是指从大量的不完全，有噪音，模糊的，随机的数据中提取出隐含在其中的有用的信息和知识的过程。金融行业的分析方案旨在帮助银行和保险也客户进行交叉销售来增加销售收入，对客户进行细分和细致的行为描述来有效的挽回有价值的客户，提高市场活动的相应效果，降低市场推广成本，达到有效增加客户数量的母的等。 客户细分 ​ 使客户收益最大化的同时最大化的降低风险的一种方法 ​ 客户细分是指按照一定的标准将企业的现有客户划分为不同的客户群。这是客户关系管理 的核心之一。 ​ 主要是指企业在明确的战略，业务，市场的条件下，根据客户的价值，需求和偏好的综合因素对客户进行分类，分属于统一客户群的消费者具备一定程度上的相似性，细分的依据主要是： 客户需求不同。影响消费者购买决策因素的差异后决定了消费者的需求，导致了不同的消费行为。 消费档次假说。消费者收入水平的提高，消费量会随着增加，但是这个增加是称区间台阶式的，一旦消费者达到莫衷消费层次后，消费的趋势将遍的非常平缓。 企业的资源是有限的，必须有选择地分配资源。为了充分发挥资源的最大效用，企业必须区分不同的客户群，对不同的客户制定不同的服务策略，集中资源服务好重点客户。 稳定性。有效的客户细分还必须具有相对的稳定性，足以实现在此基础上进行的实际应用，如果变化太快，应用方案还未来得及实施，群体就已面目全非，这样的细分方法就显得毫无意义

https://blog.csdn.net/qq_40605167/article/details/100045676 来源： https://www.cnblogs.com/h694879357/p/12235194.html