xgboost

1.背景 关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT 地址 和xgboost导读和实战 地址 ，希望对xgboost原理进行深入理解。 2.xgboost vs gbdt 说到xgboost，不得不说gbdt。了解gbdt可以看我这篇文章 地址 ，gbdt无论在理论推导还是在应用场景实践都是相当完美的，但有一个问题：第n颗树训练时，需要用到第n-1颗树的（近似）残差。从这个角度来看，gbdt比较难以实现分布式（ps：虽然难，依然是可以的，换个角度思考就行），而xgboost从下面这个角度着手 注：红色箭头指向的l即为损失函数；红色方框为正则项，包括L1、L2；红色圆圈为常数项。 利用泰勒展开三项，做一个近似，我们可以很清晰地看到，最终的目标函数只依赖于每个数据点的在误差函数上的一阶导数和二阶导数。 3.原理 （1）定义树的复杂度 对于f的定义做一下细化，把树拆分成 结构部分q 和 叶子权重部分w 。下图是一个具体的例子。结构函数q把输入映射到叶子的索引号上面去，而w给定了每个索引号对应的叶子分数是什么。 定义这个复杂度包含了一棵树里面节点的个数，以及每个树叶子节点上面输出分数的L2模平方。当然这不是唯一的一种定义方式，不过这一定义方式学习出的树效果一般都比较不错。下图还给出了复杂度计算的一个例子。 注

（一）Adaboost算法的模型是一个弱学习器线性组合，特点是通过迭代，每一轮学习一个弱学习器，在每次迭代中，提高那些被前一轮分类器错误分类的数据的权值，降低正确分类的数据的权值。最后，将弱分类器的线性组合作为强分类器，给分类误差小的基本分类器大的权值。每一次迭代都可以减少在训练集上的分类误差率。 当然，就如每一个算法都有自己的优缺点一样，AdaBoost 也有自身的缺点。AdaBoost 算法只直接支持二分类，遇到多分类的情况，需要借助 one-versus-rest 的思想来训练多分类模型。关于 one-verus-rest 的细节可以参考本系列第一篇文章 SVM。 AdaBoost能够有效的降低偏差，能够在泛化性能非常弱的学习器上构建成很强的集成。缺点是对噪声敏感。 AdaBoost 的核心就是不断迭代训练弱分类器，并计算弱分类器的权重。需要注意的是，弱分类器的训练依赖于样本权重。每一轮迭代的样本权重都不相同，依赖于弱分类器的权重值和上一轮迭代的样本权重。( 相当于改变了数据的分布情况 ，分类器学习和改变数据分布) 用 AdaBoost 也可以实现回归模型，需要将弱分类器替换成回归树，并将平方误差作为损失函数 GBDT与Adaboost的主要差别为，Adaboost每轮学习的一个基本学习器是通过改变样本的权值，关注上轮分类错误的样本的权值，以逐步减少在训练集上的分类误差率