数据挖掘算法

数据挖掘经典算法 先描述各种算法的基本知识，后续会推出所有单个算法的具体描述、推导、代码。 C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法。C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1.用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2.在树构造过程中进行剪枝； 3.能够完成对连续属性的离散化处理； 4.能够对不完整数据进行处理。 C4.5算法有如下优点:产生的分类规则易于理解，准确率较高。 其缺点是:在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效(相对的CART算法只需要扫描两次数据集， 以下仅为决策树优缺点 )。 优点:计算复杂度不高，输出结果易于理解,对中间值的缺失不敏感，可以处理不相关特征数据。 缺点:可能会产生过度匹配问题。 适用数据类型:数值型和标称型。 K-means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 优点:容易实现。 缺点:可能收敛到局部最小值，在大规模数据集上收敛较慢。 适用数据类型:数值型数据。 来源：

下面是一些关于 大数据 挖掘的知识点，今天和大家一起来学习一下。 1. 数据、信息和知识是广义数据表现的不同形式。 2. 主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识 3. web挖掘研究的主要流派有：Web结构挖掘、Web使用挖掘、Web内容挖掘 4. 一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。 5. 数据库中的知识发现处理过程模型有：阶梯处理过程模型，螺旋处理过程模型，以用户为中心的处理结构模型，联机KDD模型，支持多数据源多知识模式的KDD处理模型 6. 粗略地说，知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段，其中后面两种反映了目前知识发现软件的两个主要发展方向。 7. 决策树分类模型的建立通常分为两个步骤：决策树生成，决策树修剪。 8. 从使用的主要技术上看，可以把分类方法归结为四种类型： 基于距离的分类方法 决策树分类方法 贝叶斯分类方法 规则归纳方法 9. 关联规则挖掘问题可以划分成两个子问题： 发现频繁项目集:通过用户给定Minsupport ，寻找所有频繁项目集或者最大频繁项目集。 生成关联规则:通过用户给定Minconfidence ，在频繁项目集中，寻找关联规则。 10.

OPTICS是基于DBSCAN算法的缺陷提出来的一个算法。 核心思想 ： 为每个数据对象计算出一个顺序值（ordering）。这些值代表了数据对象的基于密度的族结构，位于同一个族的数据对象具有相近的顺序值。根据这些顺序值将全体数据对象用一个图示的方式排列出来，根据排列的结果就可以得到不同层次的族。 考察DBSCAN，可以发现，对一个恒定的MinPts值来说，取值较小时得到的聚类结果完全包含在根据较大的取值所获得的聚类结果中。 如图，当取值较小时，得到的聚类结果是C1和C2，当取值较大时，得到的聚类结果是C3。 可以看到，C1和C2是包含在C3中的。换句话说，C1、C2、C3间具有层次关系，C3可以看作是C1和C2的父亲，而C1和C2可以看作是C3的孩子。 因此，在生成族的时候，最好能够将位于不同层次上的族同时构建出来，而不是根据某个特定的值仅仅构建其中的一层。 为了同时构建不同层次上的族，数据对象应当以特定的顺序来处理。这个顺序称为族序（cluster-ordering），它决定了对象扩展时的次序。 为了使较低层次上的族（这些族的数据密度较大）能够首先构建完成，在进行对象扩展时，应该优先选择那些根据最小的取值而密度可达的对象。 基于这个思想，每个数据对象需要存储两个值，一个是核心距离（core-distance），另一个是可达距离（reach-distance）。

K-Means方法是MacQueen1967年提出的。给定一个数据集合X和一个整数K（n），K-Means方法是将X分成K个聚类并使得在每个聚类中所有值与该聚类中心距离的总和最小。 K-Means聚类方法分为以下几步： [1] 给K个cluster选择最初的中心点，称为K个Means。 [2] 计算每个对象和每个中心点之间的距离。 [3] 把每个对象分配给距它最近的中心点做属的cluster。 [4] 重新计算每个cluster的中心点。 [5] 重复2，3，4步，直到算法收敛。 以下几张图动态展示了这几个步骤： 下面，我们以一个具体的例子来说明一下K-means算法的实现。 K-means算法的优缺点： 优点： （1）对于处理大数据量具有可扩充性和高效率。算法的复杂度是O（tkn），其中n是对象的个数，k是cluster的个数，t是循环的次数，通常k，t<<n。 （2）可以实现局部最优化,如果要找全局最优，可以用退火算法或者遗传算法 缺点： （1）Cluster的个数必须事先确定，在有些应用中，事先并不知道cluster的个数。 （2）K个中心点必须事先预定，而对于有些字符属性，很难确定中心点。 （3）不能处理噪音数据。 （4）不能处理有些分布的数据（例如凹形） K-Means方法的变种 (1) K-Modes ：处理分类属性 (2) K-Prototypes

一、基本信息 标题：基于关联规则的成绩分析及课程设置研究 时间：2013 来源：河北科技大学 关键词：成绩分析; 分析决策; 数据挖掘; 关联规则; 数据仓库; AprioriTid算法; 二、研究内容 数据仓库概念结构 Apriori算法图 数据挖掘界面 数据挖掘打开文件界面 数据挖掘打开数据源文件 最小支持度阈值输入 最小置信度阈值输入 三、结论 依旧是基于关联规则的成绩分析但是比上一篇更加全面具体。 四、参考文献 [17]基于关联规则的成绩分析及课程设置研究[D]. 孙月昊.河北科技大学 2013 来源： https://www.cnblogs.com/zzq1234/p/11967377.html

一、基本信息 标题：数据挖掘在高校课程相关性中的应用研究 时间：2012 来源： 科技通报 关键词：数据挖掘; Apriori算法; 关联规则; 课程相关性; 二、研究内容 基于关联规则的数据挖掘分析方法： Apriori算法核心：关联规则挖掘流程图 学生成绩表Table 1 Student achievement analysis of basic data table 事务数据库Table 2 Transaction database 关联规则挖掘结果Table 3 Association rules mining results 三、结论 非常具体的基于关联规则的数据挖掘分析方法，有流程图和表图。后面还有关于课程相关性的应用但是和成绩分析关联不大没有放到内容中。 四、参考文献 [15]数据挖掘在高校课程相关性中的应用研究[J]. 姚双良. 科技通报. 2012(12) 来源： https://www.cnblogs.com/zzq1234/p/11967205.html

ETL工程师: Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库， 数据仓库技术 没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。 数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的 数据存储 介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。 数据挖掘工程师: 数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的

一、基本信息 标题：基于数据挖掘技术的学生成绩分析系统的设计与实现 时间：2017 来源：科技经济导刊 关键词：成绩分析; 关联规则; 分类; 聚类; 二、研究内容 1 文件导入数据:用户将导入数据文件的请求和数据文件的地址发送给openfile, openfile对系统中已经定义的结构体进行初始化。初始化完成后, openfile打开文件并开始从文件中读取数据, 并存入结构体中。循环这一过程, 直到所有的数据都被存入了结构体中, openfile关闭文件, 并向用户输出“成功导入文件” 2 数据预处理 3 关联规则：一是用什么样的标准判断两门课程是否存在关联, 二是如何挖掘各门课程的关联规则 4 分类：采用决策树算法来实现分类预测功能, 主要预测全体在校学生是否有挂科风险, 以及挂科风险比较高的课程。 5 聚类：使用聚类算法对学生进行聚类, 根据聚类结果分析学生在校表现和成绩之间的关联性。 6 导出文件：用户将导出数据至文件的请求和创建文件的地址发送给creatfile, creatfile在指定地址创建文件。创建文件完成后, creatfile依次从存放关联规则、分类结果和聚类结果的数组中读取数据, 依次存入文件中。循环这一过程, 直到所有的数据都被存入了文件中, 向用户输出“成功导出数据至文件” 三、结论 这篇文献和第一篇十分相似，只要介绍了成绩分析方法步骤

问题一： 你简历中上过的数据挖掘、机器学习等课程，是学校的研究生课程还是自己单独学习的；回答道：研究生课程有学习，自己单独私下也有学习 1、监督学习和无监督学习的区别？分类回归一般属于哪种？聚类属于哪种？请举例你知道的相关有监督学习和无监督学习算法 1：监督学习和无监督学习的区别在于：监督学习数据样本是带有标签的，而无监督学习的数据样本是没有标签的；分类回归一般属于监督学习，聚类是无监督学习；无监督学习大致又有层次聚类、核密度聚类等（本人对无监督研究并不是很深入，大致答了）常见的监督学习：KNN、决策树（后面陆续问到决策树有几种，区别是什么）、SVM（后续问到常用的核函数有哪些）、随机森林、xgboost、朴素贝叶斯、逻辑回归、神经网络；无监督学习主要有：K-means，基于密度聚类、基于谱聚类、ISO-Forest接触的等等 2、生成式模型和判别式模型的区别 2：判别式模型建模过程主要是依靠代价准则函数，通过代价准则函数，拟合出一个最优判别方程，进行判别，而生成式模型主要是依靠挖掘数据的内在规则（因此数据量要求也高），生成一个概率估计；例如逻辑回归和朴素贝叶斯，前者是判别模型，后者是生成模型 3、你对集成算法有了解吗？为什么集成要求的是弱分类器，弱分类器的定义是什么？而不能是强分类器？GBDT和xgboost的区别是什么？ 3：对集成学习有一定的了解；弱分类器

属性相关分析方法： 首先，我的读后感是，对这一系列我感到比较困惑，不过，如果遇到实际问题的时候，只能按照例子，照搬步骤来分析。但是我初步理解到，按照下面的操作，是通过信息量，来分出个属性的主次，以便消除弱相关属性，并获得初始工作数据集。 这是一个基于信息（熵）进行属性相关分析的基本内容。 事例3.7：假设需要利用分析定性描述归纳方法，从一个大学数据库挖掘研究生的概念定性描述。 （1） 建立研究生目标数据集合。 （2） 利用AOI方法，根据属性泛化控制阙值对目标数据集所包含的属性进行初步分析。消除取值过多的属性并进行小规模属性泛化操作。从而获得3.5的结果。 （3） 用属性相关分析方法。首先是利用公式3.4计算当前数据进行分类所需要的信息量： 再用公式3.5 计算若利用major属性对数据进行分支所需要的信息为： （4） 消除弱相关属性，并获得初始工作数据集。 （5） 最后利用算法3.1进行基于属性的归纳，并获得研究生目标数据集的概念描述。 基于属性归纳结果的表示 AOI方法的挖掘结果可以有多种输出表示形式。利用基于属性归纳所获得的挖掘结果通常都是采用如表-3.2所示的表格形式来加以描述。以下就是这样描述AOI方法挖掘结果的事例。 示例3.3：假设基于属性归纳操作是在一个商场数据库（2000年销售额）中进行的，从而获得如表-3.3所示的（泛化）归纳结果。 对上述归纳结果