机器学习（三）——决策树（decision tree）算法介绍

0.机器学习中分类和预测算法的评估标准

    准确率

    速度

    强壮性

    可规模性

    可解释性

 

1、什么是决策树/判定树（decision tree）？

    判定树是一个类似于流程图的树结构：其中，每个内部节点表示一个属性上的测试，每个分支代表一个属性的输出，而每个树叶节点代表类或者类分布。树的最顶层是根节点。

2、机器学习中分类方法的重要算法是决策树

3、构造决策树的基本算法

 

 

3.1熵（entropy）概念
    
信息和抽象，如何度量？
1948年，香农提出了 ”信息熵(entropy)“的概念，一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常非常不确定的事情，或者是我们一无所知的事情，需要了解大量信息==>信息量的度量就等于不确定性的多少。
用比特（bit）来衡量信息的多少

 

即变量的不确定性越大，熵也就越大


3.2 决策树归纳算法（ID3）
    1970-1980，
    选择属性判断节点：
    信息获取量：Gain(A) = Info(D) - Infor_A(D)
    通过A来作为节点分类获取了多少信息
    举例：

 

根据没有任何属性来分类，数据集本身的目标类的信息值：

来源：https://www.cnblogs.com/Melvin-Dong/p/7343981.html