机器学习系列(三)决策树的集成算法--随机森林与极限森林--三个臭皮匠与完美主义者的较量
写在前面: 我是 「nicedays」 ,一枚喜爱 做特效,听音乐,分享技术 的 大数据开发猿 。这名字是来自 world order 乐队的一首 HAVE A NICE DAY 。如今,走到现在很多坎坷和不顺,如今终于明白 nice day 是需要自己赋予的。 白驹过隙,时光荏苒,珍惜当下 ~~ 写博客一方面是对自己学习的一点点 总结及记录 ,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 大数据与机器学习 感兴趣,可以关注我的 动态 https://blog.csdn.net/qq_35050438 ,让我们一起挖掘数据与人工智能的价值~ 文章目录 随机森林--极限森林--梯度提升树(本章未写): 一:集成算法Ensemble learning 1)Bagging:训练多个学习器取平均 2)Boosting:从弱学习器开始加强,通过加权来进行训练 AdaBoost: 3)Stacking:聚合多个分类或回归模型(可以分阶段来做) 二:集成模式下的竞争:随机森林--极限森林--梯度提升树 1)大名鼎鼎的随机森林: 单个决策树随机了什么? 怎么构建? 随机森林得优势: 2)不极限的极限森林: 单个决策树随机了什么? 极限树与随机森林的主要区别: 三:附录Scikit-learn的randomForest和ExtraTrees的参数说明: