AdaBoost算法的事前向分步算法，即经过 $k-1$ 次迭代后，第 $k-1$ 轮后强学习器为
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ f_{k-1}(x) & =…$
经过 $k$ 次迭代后，第 $k$ 轮后强学习器为
$f_k(x) = \sum_{i=1}^k \alpha_i G_i(x) = f_{k-1}(x) + \alpha_kG_k(x)$
得到第 $k$ 轮强学习器后，我们知道AdaBoost的目标函数是指数函数，因此我们的目标是使前向分步算法得到的 $\alpha_k$ 和 $G_k(x)$ 使 $f_k(x)$ 在训练数据集上的指数损失最小，即AdaBoost的目标函数为
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ (\alpha_k,G_k(…$
由于 $e^{[{-y_i(f_{k-1}(x_i))}]}$ 的值不依赖 $\alpha,G$ ，因此他与最小化无关，它仅仅依赖于随着每一轮迭代而变化的 $f_{k-1}(x)$ ，因此可以把 $e^{[{-y_i(f_{k-1}(x_i))}]}$ 看做 $\overline{w}_{ki}$ ，即目标函数变为
$(\alpha_k,G_k(x)) = \underbrace{\arg\,min}_{\alpha,G}\sum_{i=1}^m \overline{w}_{ki} e^{[{-y_i(\alpha{G(x_i)}})]}$
现在的目标就是最优化AdaBoost的目标函数得到能使目标函数最小化的 $\alpha_k^*$ 和 $G_k^*(x)$ 。

首先，对于任意的 $\alpha>0$ ， $G_k^*(x)$ 表示第 $k$ 轮能够使得加训练数据分类误差率最小的基本分类器，分类误差率为
$e_k = {\frac{\sum_{i=1}^m\overline{w}_{ki}I(y_i\neq{G_k(x_i)})}{\sum_{i=1}^m\overline{w}_{ki}}} = \sum_{i=1}^m\overline{w}_{ki}I(y_i\neq{G_k(x_i)}) = \sum_{{y_i}\neq{G_k(x_i)}}\overline{w}_{ki}$
$G_k^*(x)$ 为
$G_k^*(x) = \underbrace{arg\,\min}_{G}\sum_{i=1}^m \overline{w}_{ki} I(y_i\neq{G(x_i))}$
$G_k^*(x)$ 即为学习器的 $G_k(x)$ ，把 $G_k(x)$ 代入目标函数对 $\alpha$ 求导并使导数为0，可以把上述的目标函数优化成
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ (\alpha_k,G_k(…$
既得最小的 $\alpha$ 为
$\alpha_k^* = {\frac{1}{2}}\log{\frac{1-e_k}{e_k}}$
最后看样本的权重更新，利用 $f_k(x)=f_{k-1}(x)+\alpha_kG_k(x)$ 和 $\overline{w}_{ki}=e^{[-y_if_{k-1}(x_i)]}$ 可得
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \overline{w}_{…$
$\overline{w}_{k+1,i}$ 即接下来要讲到的AdaBoost算法的训练数据权重的更新公式。

AdaBoost算法流程

在这里插入图片描述
AdaBoost算法既可以解决分类问题，又可以解决回归问题。对于分类问题，此处我们讲述的AdaBoost算法流程主要是针对二分类问题，二分类问题和多分类问题的区别主要在于弱分类器的系数上，本文会介绍AdaBoost SAMME算法如何计算弱分类器的系数；对于回归问题，由于AdaBoost用来解决回归问题的变种有很多，本文只对AdaBoost R2算法做一个介绍。

输入

$m$ 个样本 $n$ 个特征的训练数据集 $T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\}$ 。

针对二分类问题， $y_i\in{Y=\{1,-1\}}$ 。

输出

最终强学习器 $G(x)$ 。

强分类器流程

初始化训练数据的权重
$D_1 = (w_{11},\cdots,w_{1i},\cdots,w_{1m}),\quad{w_{1i}={\frac{1}{m}},\quad{i=1,2,\cdots,m}}$
生成弱分类器
$G_k(x),\quad{k=1,2,\cdots,K}$
计算弱分类器 $G_k(x)$ 在训练集上的分类误差率为
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ e_k & = \sum_{…$
计算 $G_k(x)$ 的权重系数
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ & \alpha_k={\f…$
二分类问题的权重系数中，可以看出如果分类误差率 $e_k$ 越大，则对应的弱分类器的权重系数 $\alpha_k$ 越小，即误差率小的弱分类器权重系数越大。

多分类问题使用的是AdaBoost SAMME算法，其中 $R$ 为类别数，如果 $R=2$ ，则该多元分类的权重系数将变成二元分类的权重系数。
5. 更新训练数据的权重
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ & D_{k+1} = (w…$
其中 $Z_k$ 是规范因子
$Z_k=\sum_{i=1}^mw_{ki}e^{-\alpha_ky_iG_k(x_i)}$
从 $w_{k+1,i}$ 的计算公式中可以看出，如果第 $i$ 个样本分类错误，则 $y_iG_k(x_i)<0$ ，导致样本的权重在第 $k+1$ 个弱分类器中变大，反之，则样本权重在第 $k+1$ 个弱分类器中变小。
6. 结合策略
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ & f(x)=\sum_{k…$

强回归器流程

初始化训练数据的权重
$D_1 = (w_{11},\cdots,w_{1i},\cdots,w_{1m}),\quad{w_{1i}={\frac{1}{m}},\quad{i=1,2,\cdots,m}}$
生成弱分类器
$G_k(x),\quad{k=1,2,\cdots,K}$
计算弱回归器 $G_k(x)$ 在训练集上的最大误差
$E_k = \max|y_i-G_k(x_i)|,\quad{i=1,2,\cdots,m}$
计算每个样本之间的相对误差
$e_{ki}={\frac{|y_i-G_k(x_i)|}{E_k}}$
此处也可以使用均方误差，即 $e_{ki}={\frac{(y_i-G_k(x_i))^2}{E_k^2}}$
计算第 $k$ 弱回归器的误差率和权重系数
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ & e_k = \sum_{…$
更新训练数据的权重
$w_{k+1,i} = {\frac{w_{ki}}{Z_k}\alpha_k^{1-e_{ki}}}$
其中 $Z_k$ 是规范因子
$Z_k = \sum_{i=1}^m w_{ki}\alpha_k^{1-e_{ki}}$
结合策略
$G(x) = G_{k^*}(x)$
其中 $G_{k^*}(x)$ 是所有 $\ln{\frac{1}{\alpha_k}},\quad{k=1,2,\cdots,K}$ 的中位数对应序号 $k^*$ 对应的弱回归器

AdaBoost算法优缺点

优点

不容易过拟合
分类精准度高
由于弱分类器既可以是分类器又可以是回归器，使用灵活

缺点

由于是对训练数据加权，有可能会赋予训练数据中的异常值较高的权重，影响模型的准确度

小结

AdaBoost算法并没有使用较深的数学知识，而是推导过程涉及较为复杂的逻辑。如果看完一遍还不是很理解，需要自己多多揣摩。

AdaBoost算法目前是一个比较流行的Boosting算法，他的弱学习器既可以是回归器，又可以是分类器，这也是AdaBoost较为强大的一点。虽然理论上任何学习器都可以作为AdaBoost的弱学习器，但是AdaBoost算法用的较多的弱学习器一般还是决策树和神经网络。

相信有了第一个集成算法AdaBoost的基础，对于接下来的第二个用的较为广泛的Boosting系列算法你也能很快熟悉他，即梯度提升树(gradient boosting decision tree，GBDT)

在这里插入图片描述

来源：CSDN

作者：小猿取经

链接：https://blog.csdn.net/weixin_46032351/article/details/104625498

标签

adaboost

分类器

目标函数

算法

boosting

04-02 AdaBoost算法

文章目录

AdaBoost算法

AdaBoost算法学习目标

AdaBoost算法详解

Boosting算法回顾

AdaBoost算法

AdaBoost算法目标函数优化

AdaBoost算法流程

输入

输出

强分类器流程

强回归器流程

AdaBoost算法优缺点

优点

缺点

小结