集成学习

本文约 11000 字， 建议阅读 20 分钟。 本文为你整理周志华教授的角度深度神经网络之所以获得成功的本质因素，找到神经网络之外的其它的深度模型。 8 月 10 日至 16 日，IJCAI 2019 在中国澳门隆重召开。14 日下午， 南京大学周志华 教授进行特邀大会演讲，演讲主题是 《Deep Learning: Why deep and is it only doable for neural networks?》 。在演讲中，周志华教授从自己的角度解读了深度神经网络之所以获得成功的本质因素，以及如何在兼顾这些因素的同时，找到神经网络之外的其它的深度模型。 我们把演讲全文整理如下。 一、深度学习就等于深度神经网络吗？ 深度学习今天已经有各种各样的应用，到处都是它，不管图像也好，视频也好，声音自然语言处理等等。那么我们问一个问题，什么是深度学习？ 我想大多数人的答案，就是深度学习差不多就等于深度神经网络。有一个非常著名的学会叫 SIAM，是国际工业与应用数学学会，他们有一个旗舰的报纸叫 SIAM news。在去年的 6 月份，这个报纸的头版上就有这么一篇文章，直接就说了这么一句话， 说深度学习是机器学习中使用深度神经网络的的子领域。 所以如果我们要谈深度学习的话，是绕不开深度神经网络的。 首先我们必须从神经网络说起。神经网络其实并不是一个新生事物

一、集成学习简介 定义 集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。一般情况下，集成学习中的多个学习器都是同质的"弱学习器"。 思想 集成学习是训练一系列学习器，并使用某种结合策略把各个学习结果进行整合，从而获得比单个学习器更好的学习效果的一种方法。如果把单个学习器比作一个决策者的话，集成学习的方法就相当于多个决策者共同进行一项决策。集成模型不是单独的ML模型，而是通过先构建后结合多个ML模型来完成学习任务。 二、集成学习的两个步骤： 1、先构建： 如何得到若干个个体学习器、弱学习器、基础学习器、基学习器 同质的 异质的 2、后结合： 如何选择一种结合策略，将这些个体学习器集合成一个强学习器 回归 Boosting：直接叠加、正则后叠加、学习法（Stacking） Bagging ：平均法、带权平均法、学习法 分类 Boosting ：直接叠加、正则后叠加、学习法 Bagging ：投票法、带权投票法、学习法 三、集成学习的两种思想： Boosting思想(并行) 个体学习器之间存在强依赖关系，一系列个体学习器基本都需要串行生成，然后使用组合策略，得到最终的集成模型，这就是boosting的思想。 Bagging思想（ Bootstrap AGGregatING ）拔靴(串行)

一、集成学习 集成学习就是合并多个分类器的预测。一般会在一个项目快结束的时候使用集成算法，一旦建立了一些好的分类器，就可以使用集成把它们合并成一个更好的分类器。 著名的集成方法：投票分类、bogging、pasting、boosting、stacking、和一些其它算法。 1.1 投票分类（少数服从多数） 令人惊奇的是这种投票分类器得出的结果经常会比集成中最好的一个分类器结果更好。 事实上，即使每一个分类器都是一个弱学习器（意味着它们也就比瞎猜好点），集成后仍然是一个强学习器（高准确率），只要有足够数量的弱学习者，他们就足够多样化。 如果每一个分类器都在同一个数据集上训练，会导致犯同一种类型的错误。相比较而言，每个分类器在不同的数据集上训练，集成后的结果会更好。 下面使用moons数据集，训练三个分类器，使用集成算法。 from sklearn.datasets import make_moons from sklearn.model_selection import train_test_split moons = make_moons(noise=0.3, random_state=0) X, y = moons X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random

目录 Learning from class-imbalanced data: Review of methods and applications 摘要 Introdution 介绍 Research methodology and initial statistics 调研方法和初始统计 Research methodology 调研方法 Initial statistics 初步统计 Imbalanced data classification approaches 不平衡数据分类方法 Basic strategies for dealing with imbalanced learning 处理不平衡学习的基本方法 Preprocessing techniques 预处理技术 resampling 重采样 Feature selection and extraction 特征选择和抽取 Cost-sensitive learning 代价敏感学习 Classification algorithms for imbalanced learning 针对不平衡学习的分类算法 Ensemble methods 集成方法 Iterative based ensemble 基于迭代的集成 Parallel based ensembles 基于并行的集成 Base classifier

集成学习是将多个基学习器（模型）相结合来完成学习任务。 文章目录 随机森林： Bagging Boosting Adaboost 随机森林： 随机森林是一种常见的集成学习方式。 前面我们学习了决策树，决策树生成后，我们可以利用同样的方法对训练集构建多棵决策树； 构建多棵决策树使用了 数据样本随机和属性随机 。 构建多棵决策树的过程中，对于构建一棵决策树我们可以规定每次 随机取训练集的n%个数据 ，这样可以减少异常值点对构建随机森林造成的影响； 在选择属性（特征）时也随机选择多个构建一棵决策树。（样本随机性，特征（属性）随机性），即在当前节点选择一个 属性子集 来选择最优属性，通常一个属性子集选择 k = l o g 2 d k=log_2d k = l o g 2 ​ d 个属性，而不是将所有的属性计算熵来选择最优属性构造节点。 对于回归问题，测试集可以取这些决策树结果的均值，即 平均法 ，分类问题，测试结果可以取其中分类概率最大的类别（分类结果最多，若相同，则可随机选择一个），即 投票法 。 Bagging Bootstrping:有放回采样，即一个盒子里面有10个白球，每次取三个球后将球放回，下次取还是这十个球。 Bagging:有放回n个样本一起建立分类器 Bagging和随机森林都是并行式集成学习的代表，即各个基学习器之间的训练没有关系，可同时训练，Bagging使用的是

集成学习 （ensemble learning）通过构建并结合多个学习器完成任务。也可称为多分类器系统（multi-classifier system）、基于委员会的学习（committee-based learning）等。其 一般结构是 先生成一组“个体学习器”(individual learner)，再用某种策略将它们结合起来。 若“个体学习器”均为同种类型，则为 同质集成 （homogeneous ensemble）； 若“个体学习器”不是同一种类型，则为 异质集成 （heterogenous ）。 同质集成 中的“个体学习器”，称为“ 基学习器 ”（base learner），相应的学习算法称为及学习算法（base learning algorithm）； 异质集成 中的“个体学习器”称为“ 组件学习器 ”（component learner）。 要获得好的集成，个体学习器应“好而不同”，即个体学习器要有一定的 准确性 （学习器不能太坏）和 多样性 （diversity，学习器间具有差异）。 如何生成个体学习器？ 根据个体学习器的 生成方式 ，大体分为两类： * 个体学习器间存在强依赖关系、必须串行生成的序列化方法；代表是Boosting * 个体学习器间不存在依赖关系、可同时生成的并行方法；代表是Bagging和随机森林 Boosting 是一族可将 弱学习器

1. 什么是集成学习？ 如果你随机向几千个人询问一个复杂问题，然后汇总它们的答案。在许多情况下你会发现，这个汇总的回答比专家的答案还要好，这被称为集体智慧，同样，如果你聚合一组预测器的预测，得到的预测结果也比最好的单个预测器要好，这样的一组预测器，我们称为集成，也被称为集成学习。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的身影。 集成学习有两个主要的问题需要解决： 如何得到若干个个体学习器 如何选择一种结合策略，将这些个体学习器集合成一个强学习器 2. 集成学习之结合策略 2.1 个体学习器已知的情况下 blending就是将所有已知的个体学习器 结合起来，发挥集体的智慧得到 强学习器 。值得注意的一点是这里的 都是已知的。blending通常有三种形式： uniform：简单地计算所有 的平均值 non-uniform：所有 的线性组合 conditional：所有 的非线性组合 其中，uniform采用投票、求平均的形式更注重稳定性，而non-uniform和conditional追求的更复杂准确的模型，但存在过拟合的危险 2.2 个体学习器未知的情况下 blending是建立在所有 已知的情况。那如果所有个体学习器 未知的情况，对应的就是学习法，做法就是一边学 ，一边将它们结合起来

集成学习（Esemble learning） 在机器学习领域，如何根据观察数据学习一个精确的估计数据是一个主要问题。 通常，我们通过训练数据应用某个算法得出一个训练模型，然后使用评估数据来评估这个模型的预测正确率，最后如果我们可以接受这个正确率就使用该模型进行预测数据。通常我们将训练数据进行交叉验证，比如说10则交叉验证，我们将训练数据平均分为10份，循环用其中的9份数据来训练模型，用另一份数据验证准确率，最后将结果准确率平均就是最后的分类准确率。当然还有其他方法。 但是寻找一个可以有很高准确率的算法是很难的。 弱学习：就是学习算法在辨别一组概念仅比猜测好一点。 强学习：可以再一个多项式级的时间内辨别一组概念，而且准确率很高。 目前，已经证明，强学习和弱学习是相互等价的，意思就是说在我们学习某一组概念的时候可以只使用一个比一个随机猜测好一点的弱学习算法，然后使用某种方法将它提升为强学习。 即使用多个弱学习器集成为一个强学习。集成学习的理论基础就是这个。 集成学习可以显著的提高学习系统的泛化能力。 步骤： 1）通过不同方法训练出多个学习器（比如使用同质的分类器不同的训练数据和参数设置，使用不一样的分类器。。。。） 2）集成多个分类器的结果。 在集成学习系统中，分量学习器的输出形式对采用何种集成方法有很大的影响，根据输出形式我们可以这么分： （1）基于抽象级信息的集成

集成学习 ：是目前机器学习的一大热门方向，所谓集成学习简单理解就是指采用多个分类器对数据集进行预测，从而提高整体分类器的泛化能力。 我们在前面介绍了。所谓的 机器学习 就是通过某种学习方法在假设空间中找到一个足够好的函数h逼近f，f是现实数据的分布函数模型，这个近似的函数就是分类器。 我们以分类问题作为说明，分类问题指的是使用某种规则进行分类，实际上就是寻找某个函数。 集成学习的思路大体上可以这样理解 ：在对新的数据实例进行分类的时候，通过训练好多个分类器，把这些分类器的的分类结果进行某种组合（比如投票）决定分类结果，以取得更好的结果，就是我们生活中那句话“三个臭皮匠顶个诸葛亮”，通过使用多个决策者共同决策一个实例的分类从而提高分类器的泛化能力。 当然通过这种集成学习提高分类器的整体泛化能力是有条件的： 1）分类器之间应该具有差异性，想想看啊，如果使用的是同一个分类器，那么集成起来的分类结果是不会有变化的。 2）分类器的精度，每个个体分类器的分类精度必须大于0.5。如下面的图，可以看到如果p<0.5,那么随着集成规模的增加，分类精度会下降，但是如果大于5的话，那么最终分类精准度是可以趋于1的。 因此集成学习的关键有两点： 1）如何构建具有差异性的分类器 2）如何多这些分类器的结果进行整合。 1.构建差异性基分类器 （1）通过处理数据集生成差异性分类器

学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言，首先要找一款合用的集成开发工具，似乎是自然而然的想法。为什么不呢？IDE可以自动补齐，可学习一种编程语言