数据挖掘算法

数据挖掘 何为数据挖掘，百度百科讲到： 数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。 数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。 数据挖掘流程 （一）数据读取 读取数据，进行演示 统计数据各项指标 明确数据规模与要完成的任务 （二）特征理解分析 单特征分析，逐个变量分析其对结果的影响 多变量统计分析，综合考虑多种情况影响 统计绘图得出结论 （三）数据清洗与预处理 对缺失值进行填充 特征标准化、归一化 筛选有价值的特征 分析特征之间的相关性 （四）建立模型 特征数据与标签设备 数据集切分 多种建模算法对比 集成策略等方案改进 来源： CSDN 作者： 机智的小飞猪 链接： https://blog.csdn.net/qszirui/article/details/104518113

决策树 1. 决策树归纳的特点 2. 模型的过分拟合 3. 估计泛化误差 3.1 再代入估计 3.2 结合模型复杂度 1. 决策树归纳的特点 决策树归纳是一种构建分类模型的非参数方法，换句话说，它不要求任何先验假设，不假定类和其他属性服从一定的概率分布 找到最佳的决策树是NP完全问题，许多决策树算法都采用启发式的方法指导对假设空间的搜索 已开发的构建决策树技术不需要昂贵的计算代价，即使训练集非常大，也可以快速建立模型。决策树一旦建立，未知样本样本分类非常快，最坏情况下的时间复杂度为 O ( w ) O(w) O ( w ) ，其中 w w w 是树的最大深度 决策树是学习力散值函数的典型代表。然而它不能很好地推广到某些特定的布尔问题。一个著名的例子是奇偶函数，当奇数（偶数）个布尔属性为真时其值为0（1），对这样的函数建模需要一棵具有 2 d 2^d 2 d 个节点的满决策树，其中 d d d 是布尔属性的个数 决策树算法对噪声的干扰具有相当好的鲁棒性 冗余属性不会对决策树的准确率造成不利的影响。一个属性如果在数据中与另一个属性是强关联的，那么它是冗余的。在两个冗余的属性中，如果已经选择其中一个作为用于划分的属性，另一个将被忽略 由于大多数的决策树算法都采用自顶向下的递归划分法，因此沿着树向下，记录会越来说越少。在叶节点，记录太少，对于叶节点代表的类，不能做出具有统计意义的判决

连接器与io 数据库 类别 Python R MySQL mysql-connector-python(官方) RMySQL Oracle cx_Oracle ROracle MongoDB pymongo RMongo, rmongodb ODBC pyodbc RODBC IO类 类别 Python R excel xlsxWriter, pandas.(from/to)_excel, openpyxl openxlsx::read.xlsx(2), xlsx::read.xlsx(2) csv csv.writer read.csv(2), read.table json json jsonlite 图片 PIL jpeg, png, tiff, bmp 统计类 描述性统计 类别 Python R 描述性统计汇总 scipy.stats.descirbe summary 均值 scipy.stats.gmean(几何平均数), scipy.stats.hmean(调和平均数), numpy.mean, numpy.nanmean, pandas.Series.mean mean 中位数 numpy.median, numpy.nanmediam, pandas.Series.median median 众数 scipy.stats.mode, pandas.Series

四、关联规则 Apriori算法代码（被调函数部分没怎么看懂） from __future__ import print_function import pandas as pd #自定义连接函数，用于实现L_{k-1}到C_k的连接 def connect_string(x, ms): x = list(map(lambda i:sorted(i.split(ms)), x)) l = len(x[0]) r = [] for i in range(len(x)): for j in range(i,len(x)): if x[i][:l-1] == x[j][:l-1] and x[i][l-1] != x[j][l-1]: r.append(x[i][:l-1]+sorted([x[j][l-1],x[i][l-1]])) return r #寻找关联规则的函数 def find_rule(d, support, confidence, ms = u'--'): result = pd.DataFrame(index=['support', 'confidence']) #定义输出结果 support_series = 1.0*d.sum()/len(d) #支持度序列 column = list(support_series[support_series > support

一、分类和回归 回归分析研究的范围大致如下： 1、逻辑回归 #逻辑回归 自动建模 import pandas as pd from sklearn.linear_model import LogisticRegression as LR from sklearn.linear_model import RandomizedLogisticRegression as RLR #参数初始化 data = pd.read_excel('data/bankloan.xls') x = data.iloc[:,:8].as_matrix() #loc和iloc是Pandas中用于提取数据的函数 y = data.iloc[:,8].as_matrix() #复制一份，用作对比 x1=x y1=y rlr = RLR() #建立随机逻辑回归模型，筛选变量 rlr.fit(x, y) #训练模型 rlr.get_support() #获取特征筛选结果，也可以通过.scores_方法获取各个特征的分数 print(u'通过随机逻辑回归模型筛选特征结束。') print(u'有效特征为：%s' % ','.join(data.iloc[:,0:8].columns[rlr.get_support()])) #原代码此处报错 x = data[data.iloc[:,0:8].columns[rlr

概述 数据分析与数据挖掘 1.数据分析 采用适当的统计分析方法对收集到的数据进行分析、概括和总结，对数据进行恰当的描述，提取有用的信息的过程。 数据分析一般具有比较明确的目标，可以根据数据分析的结果得出适当的判断，用来为以后的决策提供依据。 早在20世纪初期，数据分析的基础就已经确立。 数据分析的结果有表格，图(排列图、因果图、散布图、直方图、控制图)等表示方法。 2.数据挖掘（Data Mining,DM） 从海量的数据中通过相关的算法来发现隐藏在数据中的规律和知识的过程。 在大量的、未经过加工的数据中发现少量的、具有重要价值的知识和信息。 数据挖掘的目标不在于数据采集策略，而在于对已经存在的数据进行模式的发掘。 也叫资料勘探或数据采矿 为什么要进行数据挖掘呢？ 数据的爆炸式增长：从TB到PB 丰富数据的主要来源： 商业：Web、电子商务、交易、股票… 科学：遥感、生物信息学、科学仿真… 社会与个人：新闻、数码相机、YouTube… 数据采集与数据可用性： 自动数据收集工具、数据库系统、Web… 计算机化的社会 通常将数据挖掘视为数据中“知识发现”的同义词，也可以认为数据挖掘是知识发现中的一个步骤。 3.知识发现（KDD）的过程 首先要对收集到的数据进行预处理（数据清洗与数据集成），然后将数据仓库中的数据进行选择与变换，以便从数据仓库中选择与任务相关的数据

数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 一、 数据挖掘对象 根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。 二、数据挖掘流程 定义问题：清晰地定义出业务问题，确定数据挖掘的目的。 数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。 数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。 结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。 三、 数据挖掘分类 直接数据挖掘：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量(可以理解成数据库中表的属性，即列)进行描述。 间接数据挖掘：目标中没有选出某一具体的变量，用模型进行描述;而是在所有的变量中建立起某种关系。 四、数据挖掘的方法 神经网络方法 神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注

1.什么是数据挖掘？ 数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。知识发现过程由以下三个阶段组成：①数据准备；②数据挖掘；③结果表达和解释。数据挖掘可以与用户或知识库交互。 数据挖掘就是通过分析采集而来的数据源，从庞大的数据中发现规律，找到宝藏。 2.数据挖掘的基本流程 数据挖掘可分为6个步骤: 　1.商业理解：数据挖掘不是我们的目的，我们的目的是更好地帮助业务，所以第一步我们要从商业的角度理解项目需求，在这个基础上，再对数据挖掘的目标进行定义。 　2.数据理解：尝试收集部分数据，然后对数据进行探索，包括数据描述、数据质量验证等。这有助于你对收集的数据有个初步的认知。 　3.数据准备：开始收集数据，并对数据进行清洗、数据集成等操作，完成数据挖掘前的准备工作 　4.模型建立：选择和应用各种数据挖掘模型，并进行优化，以便得到更好的分类结果 　5.模型评估：对模型进行评价，并检查构建模型的每个步骤，确认模型是否实现了预定的商业目标 　6.上线发布: ：模型的作用是从数据中找到金矿

进入 大数据 时代，和数据相关的名词都被人们津津乐道。那 数据挖掘 、 数据分析 以及大数据之间有哪些区别呢？数据挖掘是发现信息以及收集数据的过程；数据分析则是将现有数据进行归纳以及分析得出相应结论的过程。而大数据则更加关注数据本身，重要表现就是数据量大，数据的多样性等等。 　　首先我们了解一下这三个概念分别有哪些具体的含义以及特点。 　　 1、大数据： 　　指无法一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 　　在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)、Veracity(真实性) 。 　　 2、数据分析： 　　是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 　　数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 　

•1.SVM 的基本思想： •SVM把分类问题转换成寻求分类平面的问题，并通过最大化分类边界点到分类平面的距离来实现分类。通俗的讲支持向量机的解决的问题是找到最好的分类超平面。支持向量机（Support vector machine)通常用来解决二分类问题 ​ 2.构造目标函数 类似于点到直线的距离，可以得到点到超平面的距离为 ​ •在Logistic回归算法，我们是把数据分成0类和 1 类，而同样为了推导式子的方便性，采用-1 和 1 两类。 可以将红色框的式子转换成： ​ •目标方程： ​ ​ 我们需要求的是：两数据集中几个数据最近的点的最大的距离。 在满足约束条件（即样本点为支持向量）下，最大的几何间隔中取最小的值。max L(w,b,a) 是得到支持向量的样本点，然后再这些样本点中找到min 1/2 || w ||2 的最小值（最大间隔）。 •可以得到有条件约束的最优化问题，通常引入拉格朗日函数简化上述问题，称此类问题为对偶问题（The wolfe dualproblem）。 •使用拉格朗日乘数法用来解决等式约束下的最优化问题： ​ •对偶问题的求解： •步骤1 ：固定 α ，然后L（ω, b, α）对 ω 、b 求偏导，令其偏导数等于0。 ​ •把上述2式带入到L（ω, b, α）当中： ​ •步骤2 ：对 α 求极大，通过步骤1 已经把变量 ω 、b 消去，函数只有 α