数据挖掘

数据分析师 数据分析师CDA level1 第一章 part 1 数据分析概述 描述阶段 常用报表 即席查询 多维分析 警报 统计分析 挖掘阶段 预报 预测型模型 优化 数据分析中越高级的阶段使用的挖掘的技巧就越多，方便人为的进行决策 大数据对传统小数据的拓展及其区别与联系 数据上：小数据重抽样，大数据重全体。由于传统小数据分析的本质是基于样本推断总体，因此在分析过程中十分注重抽样的科学性，只有抽样是科学的，其推断结果才具有科学意义，而大数据不一定是总体，但由于在建模方法上已经更偏向于机器学习，因此抽样已经不是必要的手段和方法论了。 方法上：小数据重实证，大数据重优化。传统的小数据在方法上更视实证研究，强调在相关理论的前提下建立假设，收集数据，建立模型并验证假设。而大数据往往更重视方法论中的自我迭代和自我优化过程，可能运算的第一个结果与标准答案相差甚远，但是可以通过与正确答案的不断校准（往往建立损失函数），使得模型的精度不断提高。 目标上：小数据解释，大数据重预测小数据的分析往往注重归因分析，探索变量之间的内部影响机理，例如究竟什么样的生活习惯会提高癌症的发病率。但是大数据往往关心的是对于未知对象的预例如判别某个人是否患有癌症或者患有癌症的概率是多少。 数据分析目标的意义、过程及其本质 可以认为数据分析涉及到公司运营的方方面面，这包括对企业部门经营情况的评估、内部员工的管理

一、基本信息 标题： 数据挖掘系统支撑下的高考志愿填报在线咨询系统设计与实现 时间：2012 来源： 西南大学 关键词： 数据挖掘; OLAP; 高考志愿填报在线咨询系统; SSH框架; 二、研究内容 1.主要内容 三、结论 四、参考文献 ［１］ 肖灿 ． 数据挖掘系统支撑下的高考志愿填报在线咨询系统设计与实现 ［D］． 西南大学 ，2012. 来源： https://www.cnblogs.com/blog1175077321/p/11884871.html

Mahout是Apache的顶级开源项目，它由Lucene衍生而来，且基于Hadoop的，对处理大规模数据的机器学习的经典算法提供了高效的实现。其中，对经典的聚类算法即提供了单机实现，同时也提供了基于hadoop分布式的实现，都是非常好的学习资料。 聚类分析 聚类（Clustering）可以简单的理解为将数据对象分为多个 簇（Cluster），每个 簇 里的所有数据对象具有一定的相似性，这样一个 簇可以看多一个整体对待，以此可以提高计算质量或减少计算量。而数据对象间相似性的衡量有不少经典算法可以用，但它们所需的数据结构基本一致，那就是向量；常见的有 欧几里得距离算法、余弦距离算法、皮尔逊相关系数算法等，Mahout对此都提供了实现，并且你可以在实现自己的聚类时，通过接口切换不同的距离算法。 数据模型 在Mahout的聚类分析的计算过程中，数据对象会转化成向量（ Vector ）参与运算，在Mahout中的接口是 org.apache.mahout.math.Vector 它里面每个域用一个浮点数（ double ）表示，你可以通过继承Mahout里的基类如： AbstractVector来实现自己的向量模型，也可以直接使用一些它提供的已有实现如下： 1. DenseVector，它的实现就是一个浮点数数组，对向量里所有域都进行存储，适合用于存储密集向量。 2.

一、基本信息 标题：基于数据挖掘技术的课程相关性分析及其应用研究 时间：2018 来源：四川师范大学 关键词：成绩分析系统; 功能区分; 数据库; 课程管理; 二、研究内容 1 .数据挖掘流程 2.简单相关分析参数设置 3.寻找频繁项集的过程 三、结论 对于数据挖掘的过程的步骤通过这篇文献能够不在一片茫然，可以按照图解一步步来。在通过前面的算法进行分析。 四、参考文献 [13]吴文玲. 基于数据挖掘技术的课程相关性分析及其应用研究[D].四川师范大学,2018. 来源： https://www.cnblogs.com/zzq1234/p/11877303.html

来源： https://www.cnblogs.com/marvin-wen/p/11872941.html

TipDM数据挖掘建模平台是基于Python引擎、用于数据挖掘建模的开源平台。平台提供数量丰富的数据分析与挖掘建模组件，用户可在没有编程基础的情况下，通过拖拽的方式进行操作，将数据输入输出、数据预处理、挖掘建模、模型评估等环节通过流程化的方式进行连接，帮助用户快速建立数据挖掘工程，提升数据处理的效能。平台的界面如图1所示。 主要特性： 基于Python，用于数据挖掘建模。 使用直观的拖放式图形界面构建数据挖掘工作流程，无需编程。 支持多种数据源，包括CSV文件和关系型数据库。 支持挖掘流程每个节点的结果在线预览。 提供5大类共40种算法组件，包括数据预处理、分类、聚类等数据挖掘算法。 支持新增/编辑算法组件，自定义程度高。 提供众多公开可用的数据挖掘示例工程，一键创建，快速运行。 提供完善的交流社区，提供数据挖掘相关的学习资源（数据、代码和模型等）。 Screenshot 来源： https://www.cnblogs.com/fewfwf/p/11832556.html

一、基本信息 标题：教育数据挖掘技术应用研究 时间：2017 来源：中国技术教育装备 关键词：数据挖掘; 教育数据挖掘; e-learning; 二、研究内容 1.教育数据挖掘研究现状 2.教育数据挖掘研究与分析结果 3.未来研究 三、结论 上一篇文献主要是讲述什么是数据挖掘，而这篇则是数据挖掘在教育上的应用。联系学生成绩分析系统，能够用到的有以下几点： 1.用学生建模 (SM) 来分析学生的学习效果以及绘制或预测学生的行为模式。学生建模可以采用贝叶斯网、序列模式挖掘、关联规则和逻辑回归这些方法, 对学生特点和学习行为进行自动建模。在看完这篇文献后，需要了解的有这些方法还有BKT推理模型（推断学生的知识与能力）和多功能分层序列模式挖掘和水平分层（对比学习行为特征） 2.学生表现预测。可以用到的方法有分类，回归，决策树。 这篇文主要是从EDM的论文集研究在教育上能因应用哪些数据挖掘技术，哪种最多。和学生成绩分析系统关联不大，目前只能得到以上信息。 四、参考文献 [7]彭亚,于翠波,张勖.教育数据挖掘技术应用研究[J].中国教育技术装备,2017(18):1-5+13. 来源： https://www.cnblogs.com/zzq1234/p/11829622.html

一、基本信息 标题：数据挖掘技术研究 时间：2017 来源：电脑迷 关键词： 数据挖掘; 数据仓库; 方法; 二、研究内容 1.数据挖掘的对象：任何类型的数据 2.数据挖掘的任务：分类、预测、时间序列模式、聚类分析、关联分析预测和偏差分析 3.数据挖掘的过程：数据准备、数据挖掘、模式评估、巩固知识和运用知识 4.数据挖掘的常用方法：决策树方法，神经网络方法，粗糙集方法，遗传算法，模糊集方法 三、结论 对于这篇文献的收集是出于对数据挖掘的不了解，在看完之后有了一些认识。简单来说，数据挖掘就是就是一种数据分析方法，而我要设计的学习成绩分析系统从这篇文献来看需要做到的有 1.分类：学生成绩，姓名，科目对这些数据进行分类。 2.预测：对学生过去的成绩进行分析，建立模型，对学生未来的成绩进行预测。 3.时间序列模式：通过学生成绩随时间变化的分析得出规律。 4.聚类分析：这个应该用不到，这是在没有给定划分类的情况下进行数据聚集。在前面的分类任务中数据应该是分好类的（暂时不确定） 5.关联分析预测：发现学生成绩变化，变化因素之间的关联规则 用到的方法：文献提供了每一种方法的含义，并没有具体的操作内容。没有办法确定哪些方法最适合学生成绩分析系统，也可能都会用到。 通过这篇文献对数据挖掘初步认识。 四、参考文献预测 [20]严坤.数据挖掘技术研究[J].电脑迷,2017(10):185. 来源：

1.李杰，数据挖据在学生成绩分析中的应用研究[D].西安：西安油门大学，2010. 2.周涛.数据挖掘中聚类算法研究进展[J].计算机工程与应用, 2012, 48 (12) :100-110. 3.陶彬贤.聚类算法分析及其在学生成绩分析中的应用[D].安徽师范大学, 2011. 4.张贵元.数据挖掘技术在中职学生成绩分析中的应用研究[D].广东技术师范学院, 2018. 5.张贵元.基于数据挖掘聚类算法的学生成绩分析[J].电脑知识与技术,2019,15(09):1-2 6.胡明明. 决策树算法在学生课程成绩分析中的应用研究[D].哈尔滨师范大学,2019. 7. 教育数据挖掘技术应用研究 [J]. 彭亚,于翠波,张勖. 中国教育技术装备 . 2017(18) 8.数据挖掘 : 概念与技术, 第3版[M]. 机械工业出版社 , (美) 韩家炜, 2012 9.教育数据挖掘[M]. 教育科学出版社 , 葛道凯, 2012 10.教学系统设计[M]. 高等教育出版社 , 何克抗,林君芬,张文兰编著, 2006 11.狄晓娇.基于数据挖掘技术的学生成绩分析[J].现代商贸工业,2018,39(17):170-171. 12.李跃. 成绩分析系统设计及实现[D].北京工业大学,2018. 13.吴文玲. 基于数据挖掘技术的课程相关性分析及其应用研究[D].四川师范大学,2018. 14

参考： https://blog.csdn.net/RedPintings/article/details/84881978 数据分析的模块有哪些： numpy 高效处理数据，提供数组支持，很多模块都依赖它，比如pandas，scipy，matplotlib都依赖他，所以这个模块都是基础。所以必须先安装numpy。 pandas 主要用于进行数据的采集与分析 scipy 主要进行数值计算。同时支持矩阵运算，并提供了很多高等数据处理功能，比如积分，微分方程求样等。 matplotlib 作图模块，结合其他数据分析模块，解决可视化问题 statsmodels 这个模块主要用于统计分析 Gensim 这个模块主要用于文本挖掘 sklearn，keras 前者机器学习，后者深度学习。 来源： https://www.cnblogs.com/wang-mengmeng/p/11809423.html