数据挖掘

链接：http://www.cs.waikato.ac.nz/ml/weka/index.html 一简介： WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、 关联规则 以及在新的交互式界面上的可视化。 >术语：WEKA所处理的数据集是一个二维的表格，表格里的一个横行称作一个实例（Instance），相当于统计学中的一个样本，或者数据库中的一条记录。 竖行称作一个属性（Attribute），相当于统计学中的一个 变量 ，或者数据库中的一个字段。这样一个表格，或者叫数据集，在WEKA看来，呈现了属性之 间的一种关系(Relation)。 >数据准备：WEKA存储数据的格式是ARFF（Attribute-Relation File Format）文件，这是一种ASCII文本文件。同时其还提供了对CSV文件的支持，而这种格式是被很多其他软件所支持的。此外，WEKA还提供了通过JDBC访问数据库的功能。具体参见：百度百科http://baike.baidu.com/view/1380214.htm 二：Knime开源数据挖掘软件 http://www.oschina.net/question

链接：http://www.cs.waikato.ac.nz/ml/weka/index.html 一简介： WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、 关联规则 以及在新的交互式界面上的可视化。 >术语：WEKA所处理的数据集是一个二维的表格，表格里的一个横行称作一个实例（Instance），相当于统计学中的一个样本，或者数据库中的一条记录。 竖行称作一个属性（Attribute），相当于统计学中的一个 变量 ，或者数据库中的一个字段。这样一个表格，或者叫数据集，在WEKA看来，呈现了属性之 间的一种关系(Relation)。 >数据准备：WEKA存储数据的格式是ARFF（Attribute-Relation File Format）文件，这是一种ASCII文本文件。同时其还提供了对CSV文件的支持，而这种格式是被很多其他软件所支持的。此外，WEKA还提供了通过JDBC访问数据库的功能。具体参见：百度百科http://baike.baidu.com/view/1380214.htm 二：Knime开源数据挖掘软件 http://www.oschina.net/question

Python环境搭建 本次入门系列将使用Python作为开发语言。要使用Python语言，我们先来搭建Python开发平台。我们将基于Python 2.7版本、以及Python的开发发行版本Anaconda版本来开发。 Anaconda 指的是一个开源的Python发行版本，其包含了 conda 、Python等180多个科学包及其依赖项。 下载地址： https://www.anaconda.com/distribution/ ，注意要下载2.7版本 下载好Anaconda安装包后，即可安装，安装好后，我们可以来测试下Python环境是否已经搭建好。 Python语言入门 本小节将简单介绍Python语言，此处不会涉及过多的Python语言细节。例如：面向对象之类。此处主要介绍后续学习数据挖掘过程中会使用到的语法。 Hello Python 此案例将在控制台上打印 Hello, Python。 1、创建一个文本文件，并命名为hello_python.py 2、编写以下内容 # 打印字符串 print 'hello, python' 3、在命令行中执行命令 python hello_python.py 多重赋值 Python中支持多重赋值 # -*- coding: utf-8 -* # 多重赋值 zhangsan, lisi, wangwu = u'张三', u'李四', u

伴随着信息化系统建设的发展，各行各业的中大型企业都存储了大量的业务数据。很多的企业想要通过对这些数据的分析，来发现新的商机以及从这些数据中找到提高盈利的方法。大部分的企业，都是凭借管理人员的自身个人经验来开展这项工作。如果有一套系统，能够自动地或者半自动地发现相关的知识和解决方案，这样将会有效地提高企业的决策水平和竞争能力。从大量数据中挖掘出隐含的、未知的、对决策有价值的信息的方法、工具以及工作过程，就是 数据挖掘 。通过数据挖掘可以在这些数据中找到其中的规律、发现数据之间的关系。数据挖掘是统计学、数据库技术和人工智能的结合产物。 数据挖掘实施步骤 一般的数据挖掘的实施步骤通过以下几点来进行： 明确需求 数据抽样 数据探索 数据预处理 数据挖掘建模 模型评估 明确需求 在开展数据挖掘开发之前，要确定用户的需求是什么。也就是说，数据挖掘系统开发完了之后，能够达到什么样的效果呢？所以，此阶段需要去了解客户的业务背景、业务过程，弄清楚客户的真正需求。 例如：针对用户进行推荐、对销售数据进行预测分析等等。 数据抽样 真实的企业环境中，往往存在多种多样的数据。不是所有的数据都跟数据挖掘系统有关，我们需要从这些大量数据走过来，抽取到与目标相关的数据子集，从而减少数据处理量，节省系统资源。而且，有针对性的抽取数据，跟有利于发现真正有价值的数据。 数据探索 拿到抽样后的数据后

数据分析涉及统计学、线性代数、图形分析绘制、数据挖掘等知识，推荐系统学习电子资料《利用Python进行数据分析第2版》、《Python数据分析与挖掘实战》、《从零开始学Python数据分析与挖掘》电子书和代码测试。 《利用Python进行数据分析第2版》电子书代码，每一章之间有递进关系，适合在Python入门《Python编程从入门到实践》电子书之后阅读，本专门针对数据分析领域的。我细致地读了一遍，敲了一遍代码，一开始没有头绪，进展缓慢，后来逐渐明朗了。 学习编程要多实践，这对没有基础的人来说有困难，因为无从下手。我的体会是，在你基础不牢的时候，就多看，多记，多总结，搭建自己的思路框架。 《Python数据分析与挖掘实战》电子资料，从数据挖掘的应用出发，以电力制造以及公共服务等行业真实案例为主线，深入浅出介绍Python数据挖掘建模过程，实践性极强。 《Python数据分析与挖掘实战》共15章，分两个部分：基础篇、实战篇。基础篇介绍了数据挖掘的基本原理，实战篇介绍了一个个真实案例，通过对案例深入浅出的剖析，在不知不觉中通过案例实践获得数据挖掘项目经验，同时快速领悟看似难懂的数据挖掘理论。在阅读标记过程中，应充分利用随书配套的案例建模数据，借助相关的数据挖掘建模工具，通过上机实验，以快速理解相关知识与理论。 《从零开始学Python数据分析与挖掘》电子资料包含16个章节

随着互联网络的迅猛发展，市场的不断成熟，世界经济进入了电子商务时代，产品和服务的差异越来越小。以生产为中心、以销售产品为目的的市场战略逐渐被以客户为中心、以服务为目的的市场战略所取代。谁能掌握客户的需求趋势，加强与客户的关系，有效发掘和管理客户资源，谁就能获得市场竞争的优势，在激烈的竞争中立于不败之地。以“客户为中心”的客户关系管理（Customer Relationship Management，简称 CRM ）已经成为产业界、学术界应用和研究的焦点。 1 客户价值的定义 客户价值的定义可以从两个方面来理解：即客户方面的价值和企业方面的价值。客户方面的价值主要是指客户从企业的服务中得到的满足。也可以理解为客户从某种服务中获得的总利益和购买时付出的总代价之比，它是企业进行客户细分的重要标准。企业方面的价值主要是指企业从客户消费中所获得的企业利润或收益。具体的说，它是企业从与长期稳定关系的并愿意为企业提供的产品和服务承担合适价格的客户中获得的利润，长期稳定关系也就是指客户的生命周期。偶尔关系的客户和长期与企业接触的客户对于企业来说价值是不一样的。客户价值是开展客户价值评估和客户细分的重要依据，是建立价格模型、流失率模型和测算客户忠诚度的基础。 2 客户细分 客户细分就是把大量的客户按照客户的行为、需求、偏好以及价值等因素对客户进行分类

数据挖掘（金融） ​ 数据挖掘是指从大量的不完全，有噪音，模糊的，随机的数据中提取出隐含在其中的有用的信息和知识的过程。金融行业的分析方案旨在帮助银行和保险也客户进行交叉销售来增加销售收入，对客户进行细分和细致的行为描述来有效的挽回有价值的客户，提高市场活动的相应效果，降低市场推广成本，达到有效增加客户数量的母的等。 客户细分 ​ 使客户收益最大化的同时最大化的降低风险的一种方法 ​ 客户细分是指按照一定的标准将企业的现有客户划分为不同的客户群。这是客户关系管理 的核心之一。 ​ 主要是指企业在明确的战略，业务，市场的条件下，根据客户的价值，需求和偏好的综合因素对客户进行分类，分属于统一客户群的消费者具备一定程度上的相似性，细分的依据主要是： 客户需求不同。影响消费者购买决策因素的差异后决定了消费者的需求，导致了不同的消费行为。 消费档次假说。消费者收入水平的提高，消费量会随着增加，但是这个增加是称区间台阶式的，一旦消费者达到莫衷消费层次后，消费的趋势将遍的非常平缓。 企业的资源是有限的，必须有选择地分配资源。为了充分发挥资源的最大效用，企业必须区分不同的客户群，对不同的客户制定不同的服务策略，集中资源服务好重点客户。 稳定性。有效的客户细分还必须具有相对的稳定性，足以实现在此基础上进行的实际应用，如果变化太快，应用方案还未来得及实施，群体就已面目全非，这样的细分方法就显得毫无意义

第一章答案 该答案为本人转载 ，原著[Ma_Jack](https://blog.csdn.net/u013272948/article/details/71024949) 1.1　什么是数据挖掘？在你的回答中，强调以下问题： (a)它是又一种广告宣传吗？ (b)它是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用吗？ (c)我们提出了一种观点，说数据挖掘是数据库技术进化的结果。你认为数据挖掘也是机器学习研究进化的结果吗？你能基于该学科的发展历史提出这一观点吗？针对统计学和模式识别领域，做相同的事。 (d)当把数据挖掘看做知识发现过程时，描述数据挖掘所涉及的步骤。 数据挖掘不是一种广告宣传，它是一个应用驱动的领域，数据挖掘吸纳了诸如统计学习、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算和许多应用领域的大量技术。它是从大量数据中挖掘有趣模式和知识的过程。数据源包括数据库、数据仓库、Web、其他信息存储库或动态的流入系统的数据等。当其被看作知识发现过程时，其基本步骤主要有：(1).数据清理：清楚噪声和删除不一致数据；(2).数据集成：多种数据源可以组合在一起；(3).数据选择：从数据库中提取与分析任务相关的数据；(4).数据变换：通过汇总或者聚集操作，把数据变换和统一成适合挖掘的形式；(5).数据挖掘

前言 推荐系统是一个相当火热的研究方向，在工业界和学术界都得到了大家的广泛关注。希望通过此文，总结一些关于推荐系统领域相关的会议、知名学者，以及做科研常用的数据集、代码库等，一来算是对自己涉猎推荐系统领域的整理和总结，二来希望能够帮助想入门推荐系统的童鞋们提供一个参考，希望能够尽快上手推荐系统，进而更好更快的深入科研也好、工程也罢。 一、 相关会议 对于推荐系统领域，直接相关的会议不多，但由于推荐系统会涉及到数据挖掘、机器学习等方面的知识，并且推荐系统作为数据挖掘和机器学习的重要应用之一，同时推荐系统往更大的领域靠拢的话也属于人工智能的范畴，因此很多做推荐的学者把目光也瞄向了数据挖掘、机器学习和人工智能方面的会议。所以，如果想关注推荐系统的前沿，我们需要不仅关注推荐系统年会，还需要关注其他与推荐挂钩的会议。 1、与推荐系统直接相关的会议 RecSys -The ACM Conference Series on Recommender Systems. 2、数据挖掘相关的会议 SIGKDD - The ACM SIGKDD Conference on Knowledge Discovery and Data Mining. WSDM - The International Conference on Web Search and Data Mining. ICDM - The

国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1.C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点： 产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n