信息增益的计算 | 易学教程

信息增益的计算

信息增益有的也成为信息获取量(Information Gain)。
这里主要介绍在决策树中的使用。
$G a i n (A) = I n f o r (D) - I n f o r_A (D)$

这里以特征A为例，特征A的信息增益计算方式如下：

计算整个信息(就是计算是否买电脑)的熵：
$I n f o r (D) = - (\frac{9}{14} \log_{2} (\frac{9}{14}) + \frac{5}{14} \log_{2} (\frac{5}{14})) = 0.94 b i t s$
计算依照年龄分类时购买电脑的熵：
$I n f o r_{a g e} (D) = \frac{5}{14} \times (- \frac{2}{5} \log_{2} \frac{2}{5} - \frac{3}{5} \log_{2} \frac{3}{5}) + \dots + \frac{5}{14} (- \frac{3}{5} \log_{2} \frac{3}{5} - \frac{2}{5} \log_{2} \frac{2}{5}) = 0.694 b i t s$
按照公式计算：
$G a i n (a g e) = I n f o r (D) - I n f o r_{a g e} (D) = 0.94 - 0.694 = 0.246 b i t s$

标签

易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!