Adaboost：
以2分类为例，其最终分类器模型为：
即最终模型是由基本分类模型线性组合得到的，a 表示 G 在最终分类器中的重要性，所以 a > 0。
其损失函数为，正确分类时为 (0,1) 取值，误分类为 (1,+∞)
Adaboost将样本损失也看作样本权重**，令：
样本权重与上一轮的模型有关，初始时置为1：
总误差为：
将总误差变形为：
这个式子由于 w 可通过上轮模型算出，因此看作常量，进行归一化后对 a 求导：
即为 Gm 对应的权重 am。
将 am 代入原式化简后，原式变为：
所以应使得 Gm 对应的 em 尽可能小。
对于 w 的更新，有：
Adaboost实质为使用前向分步算法处理加法模型，每一步优化当前这个基本分类器，是一个近似优化。
详见《统计学习方法》8.3、8.1、8.2。
提升树模型：
来源：CSDN
作者：厉害了我的汤
链接：https://blog.csdn.net/YD_2016/article/details/104711488