决策树

数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 一、 数据挖掘对象 根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。 二、数据挖掘流程 定义问题：清晰地定义出业务问题，确定数据挖掘的目的。 数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。 数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。 结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。 三、 数据挖掘分类 直接数据挖掘：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量(可以理解成数据库中表的属性，即列)进行描述。 间接数据挖掘：目标中没有选出某一具体的变量，用模型进行描述;而是在所有的变量中建立起某种关系。 四、数据挖掘的方法 神经网络方法 神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注

1.什么是数据挖掘？ 数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。知识发现过程由以下三个阶段组成：①数据准备；②数据挖掘；③结果表达和解释。数据挖掘可以与用户或知识库交互。 数据挖掘就是通过分析采集而来的数据源，从庞大的数据中发现规律，找到宝藏。 2.数据挖掘的基本流程 数据挖掘可分为6个步骤: 　1.商业理解：数据挖掘不是我们的目的，我们的目的是更好地帮助业务，所以第一步我们要从商业的角度理解项目需求，在这个基础上，再对数据挖掘的目标进行定义。 　2.数据理解：尝试收集部分数据，然后对数据进行探索，包括数据描述、数据质量验证等。这有助于你对收集的数据有个初步的认知。 　3.数据准备：开始收集数据，并对数据进行清洗、数据集成等操作，完成数据挖掘前的准备工作 　4.模型建立：选择和应用各种数据挖掘模型，并进行优化，以便得到更好的分类结果 　5.模型评估：对模型进行评价，并检查构建模型的每个步骤，确认模型是否实现了预定的商业目标 　6.上线发布: ：模型的作用是从数据中找到金矿

关于决策树和随机森林的一些小知识我会在后面陆续更新 决策树属于经典的十大数据分析与挖掘，是一种类似流程图的树结构，其规则就是IF…THE…的思想，可以用于数值型因变量的预测和离散型因变量的分类。该算法简单直观、通俗易懂，不需要研究者掌握任何领域知识或数学推理。而且算法的结果输出具有很强的解释性。通常情况下，将决策树用作很好的预测准确率。 来源： CSDN 作者： Zhongxin#c 链接： https://blog.csdn.net/qq_44852536/article/details/104201215

决策树分类回归，ID3，c4.5，CART，及其Python代码 决策树模型 内部节点表示一个特征或者属性，叶子结点表示一个类。决策树工作时，从根节点开始，对实例的每个特征进行测试，根据测试结果，将实例分配到其子节点中，这时的每一个子节点对应着特征的一个取值，如此递归的对实例进行测试并分配，直到达到叶节点，最后将实例分配到叶节点所对应的类中。 决策树具有一个重要的性质：互斥并且完备。每一个实例都被一条路径或一条规则所覆盖，而且只被一条路径或一条规则所覆盖，这里所谓覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。 决策树与条件概率分布 决策树将特种空间划分为互不相交的单元或区域，在每个单元上定义了一个类的概率分布，则构成了条件概率分布。分类时，将该节点的实例强行分到条件概率大的那一类中。 决策树学习就是由训练数据集估计条件概率模型的过程。一个数据集可能对应不想矛盾的多个决策树，通常选择使损失函数最小的决策树。通常现实中决策树学习算法采用启发式方法，近似求解这一优化问题，这样得到的决策树是次优的。 学习算法通常是递归的选择最优特征。首先开始构建根节点，然后将所有训练数据放到根节点中，选择一个最优特征，按照这一特征对数据集分割成子集，使得各个子集有一个在当前条件下最好的分类，如果这个子集已经能够被基本正确分类，则构建叶节点，如果还有子集不能正确分类，则对这些子集选择新的最优特征

分类问题（部分） 分类问题： 是监督学习的一个核心问题，它从数据中学习一个分类决策函数或分类模型（分类器（classifier))对新的输入进行输入预测，输出变量取有限个离散值。 （监督学习就像是先做模拟试卷（带答案），再做测试试题，查看测试实体的完成程度） 分类： 1.二分类（是与不是） 2.多分类（分成很多类） 决策树（decision tree) 是一个树结构，每个非叶节点表示一个特征属性，每个分支边代表这个特征属性在某个值域上的输出，每个叶节点存放一个类别。 决策过程 从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。 示例：假如我买了一个西瓜，它的特点使纹理清晰，根茎用听，如何根据下面的决策树判断是好瓜还是坏瓜？ 给定训练数据，如何构建决策树呢？ 1.特征选择：选取对训练数据具有分类能力的特征 2.决策树生成：在决策树各个点上按照一定方法选择特征，递归构建决策树 3.决策树剪枝：在已生成的树上减掉一些子树或者叶节点，从而简化分类树模型 决策树核心算法：ID3算法，C4.5算法及CART算法 决策树特征选择 决策树构建过程中的特征选择是非常重要的一步，特征选择是决定用哪个特征来划分特征空间，特征选择是要选出对训练数据集具有分类能力的特征，这样可以提高决策树的学习效率。 信息熵： 表示随机变量的不确定性

本章主要对决策树算法进行了讲解，主要有决策树的生成过程、决策树的划分选择、决策树的剪枝处理、连续与缺失值的处理以及多变量决策树。 4.1 基本流程 决策树是基于树的结构来进行决策的。包含一个根节点、若干内部节点和若干叶节点。叶节点对应于决策结果，其他每个结点对应于一个属性测试。 决策树学习的目的是产生一颗泛化能力强的决策树，其基本流程遵循简单的“分而治之”策略。 决策树学习的基本算法 输入：训练集D = {(x 1 ,y 1 ),(x 2 ,y 2 ),...,(x n ,y n )}; 属性集 A = {a 1 ,a 2 ,...,a d } 过程：函数TreeGenerate（D,A） 1.生成结点node; if D中样本全属于同一类别C then 将node标记为C类叶节点；return； end if; if A = 空集 OR D中样本在A上取值相同 then 将node标记为叶节点，其类别标记为D中样本数最多的类；return end if 从A中选择最有划分属性a *; for a* 的每一个值 a v do 为node生成一个分支；令Dv表示D中在a*上取值为a v 的样本子集； if Dv为空 then 将分支结点标记为叶节点，其类别标记为D中样本最多的类；return else 以TreeGenerate（D v ,A\{a*}）为分支结点 end if

第5章 决策树 决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。 5.1 决策树模型与学习 定义5.1 (决策树) ： 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点有两种类型：内部结点(internal node )和叶结点(leaf node)。内部结点表示一个特征或属性，叶结点表示一个类。 用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值。如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中。 图中圆和方框分别表示内部结点和叶结点. 决策树与if-then规则 可以将决策树看成一个if-then规则的集合，转换成if-then规则的过程：由决策树的根结点到叶结点的每一条路径构建一条规则

1、什么是决策树（Decision Tree） 决策树是一个类似于流程图的树结构，其中每一个树节点表示一个属性上的测试，每一个分支代表一个属性的输出，每一个树叶节点代 表一个类或者类的分布，树的最顶层是树的根节点。 举一个例子。小明同学想根据天气情况是否享受游泳运动： 这里包含了6个属性，一条样例即为一个实例，待学习的概念为“是否享受运动”，学习目标函数：f:X->Y。 根据上面的表中实例，我们可以试着用一个树结构的流程图来表示小明根据那6个属性决定是否享受运动： 从上面这个树状图中，我们可以看到，总共的实例有14个（出去运动的实例有9个，不运动的实例有5个），从树顶往下看，首先看到菱形的选项，意思是天气如何？然后分出了三个分支——晴天，阴天，雨天。实例中是天气属性为晴天，并决定要去运动的有2个，不去运动的有3个；天气属性为阴天，并决定去运动的有4个，不运动的有0个；天气属性为雨天，并决定去运动的有3个，不运动的有2个。从图中我们可以看到，当标记中的正例或者反例为0个时，树就不继续往下扩展了（比如天气属性为阴天的时候，不去运动的实例为0个）。假如正例或者反例都不为0时，那么就要根据属性继续往下扩展树。 决策树是机器学习中分类方法中的一个重要算法。 2、如何构造一个决策树算法 （1）信息熵 信息是一种抽象的概念，那么如何对信息进行一个量化的操作呢？1948年，香农提出了“信息熵

　　决策树是一种有监督的机器学习算法，它看起来就像是由一系列节点组成的流程图，其中位 于上层节点的值决定下一步走向哪个节点。 　　首先是训练阶段，用训练数据构造一棵树。之后再是测试阶段。决策树跟大多数机器学习方法类似，是一种积极学习的算法，在训练阶段完 成模型的创建。 　　 　　除了设定退出准则外，也可以先创建一棵完整的树，再对其进行修剪，去掉对整个过程没有 　提供太多信息的节点。这个过程叫作剪枝（pruning）。 　　scikit-learn库实现的决策树算法给出了退出方法，使用下面这两个选项就可以达到目的。 　　　　 min_samples_split：指定创建一个新节点至少需要的个体数量。 　　　　 min_samples_leaf：指定为了保留节点，每个节点至少应该包含的个体数量。 　　　　第一个参数控制着决策节点的创建，第二个参数决定着决策节点能否被保留。 　　决策树的另一个参数是创建决策的标准，常用的有以下两个。 　　　　 基尼不纯度（Gini impurity）：用于衡量决策节点错误预测新个体类别的比例。 　　　　 信息增益（Information gain）：用信息论中的熵来表示决策节点提供多少新信息。 上面内容摘自 Robert Layton 的python 　　首先，对于数据，要先提取特征：对于特征的提取大致有几种方法。 1 最简单的就是根据主客场球队

版权声明： 本文为博主原创文章，发表自 知一的指纹 。转载需向 我的邮箱 申请。 简单解释： 熵 为信息的期望值，计算公式如下。 $$ info(D) = -sum_{i=1}^m p_i log_2(p_i) $$ 信息增益 是指在划分数据集之前之后信息发生的变化。对信息按属性A划分后取得的熵。 $$ info_A(D) = sum_{j=1}^v frac{|D_j|}{|D|}info(D_j) $$ 计算两者之间的变化就是信息增益。 $$ gain(A) = info(D) - info_A(D) $$ 如下算法计算最大信息增益。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106 # -*- coding:utf-8 -*-"""决策树算法"""from __future__ import divisionimport mathimport operatorfrom collections import