集成学习

一、简介 集成学习，顾名思义，通过将多个单个学习器集成/组合在一起，使它们共同完成学习任务，有时也被称为“多分类器系统（multi-classifier system）”、基于委员会的学习（Committee-based learning）。 这里的【学习器】就是指机器学习算法训练得到的假设。而我们之所以有直觉要把多个学习器组合在一起，是因为单个学习器往往可能效果不那么好 这要么是因为它们具有较高的偏置（例如，低自由度模型），要么是因为他们的方差太大导致鲁棒性不强（例如，高自由度模型） ，而多个学习器可以互相帮助，各取所长，就可能一起合作把一个学习任务完成得比较漂亮。（后面我们将从数学上证明这一点） 二、分类 按个体学习器类别是否一样 1、 同质个体学习器（应用最广泛）（个体学习器类别一样，比如都是决策树） 2、异质个体学习器（支 持向量机个体学习器，逻辑回归个体学习器和朴素贝叶斯个体学习器来结合 ） 按串行还是并行 1、串行集成方法，这种方法串行地生成基础模型（如AdaBoost、GBDT）。串行集成的基本动机是利用基础模型之间的依赖。通过给错分样本一个较大的权重来提升性能。 2、并行集成方法，这种方法并行地生成基础模型（ bagging、 Random Forest）。并行集成的基本动机是利用基础模型的独立性，因为通过平均能够较大地降低误差。 一般分为三类 1

集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。 用一个简单的例子来进行说明：在一个二分类任务重，假设三个分类器在三个测试样本上的表现如下图所示。假设集成学习的结果通过三个个体学习器用投票发（voting）产生，即“少数服从多数”，那么当三个个体学习器分别对三个测试例有不同的判别优势时，集成的效果也会不一样。 目前集成学习的方法大致可以分成两大类： 1.个体学习器存在强依赖关系，必须串行生成的序列化方法（Boosting） 2.个体学习器不存在强依赖关系，可同时生成的并行化方法（Bagging和随机森林） 接下来打算用两章来分别介绍下Boosting和随机森林算法。 来源： CSDN 作者： telnetipc 链接： https://blog.csdn.net/u012411498/article/details/84110464

说明 ：本科普也是借助诸多集成学习文章学习总结而来。 集成学习 一般我们常说的集成学习的方法都是指的同质个体学习器。而同质个体学习器使用最多的模型是CART决策树和神经网络。同质个体学习器按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，一系列个体学习器基本都需要串行生成，代表算法是boosting系列算法，第二个是个体学习器之间不存在强依赖关系，一系列个体学习器可以并行生成，代表算法是bagging和随机森林（Random Forest）系列算法。 集成学习之boosting Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器。1. 根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器。2. 如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器。 Boosting系列算法里最著名算法主要有AdaBoost算法和提升树(boosting tree)系列算法。提升树系列算法里面应用最广泛的是梯度提升树(Gradient Boosting Tree)。 AdaBoost算法原理 Boosting需要解决如下几个问题：

1.1.1 Spring是什么 Spring是一个开源的轻量级Java SE（Java 标准版本）/Java EE（Java 企业版本）开发应用框架，其目的是用于简化企业级应用程序开发 。应用程序是由一组相互协作的对象组成。而在传统应用程序开发中，一个完整的应用是由一组相互协作的对象组成。所以开发一个应用除了要开发业务逻辑之外，最多的是关注如何使这些对象协作来完成所需功能，而且要低耦合、高内聚。 业务逻辑开发是不可避免的，那 如果有个框架出来帮我们来创建对象及管理这些对象之间的依赖关系 。可能有人说了，比如“抽象工厂、工厂方法设计模式”不也可以帮我们创建对象，“生成器模式”帮我们处理对象间的依赖关系，不也能完成这些功能吗？可是这些又需要我们创建另一些工厂类、生成器类，我们又要而外管理这些类，增加了我们的负担，如果能有种通 过配置方式来创建对象，管理对象之间依赖关系，我们不需要通过工厂和生成器来创建及管理对象之间的依赖关系，这样我们是不是减少了许多工作，加速了开发，能节省出很多时间来干其他事 。Spring框架刚出来时主要就是来完成这个功能。 Spring框架除了帮我们管理对象及其依赖关系，还提供像通用日志记录、性能统计、安全控制、异常处理等面向切面的能力，还能帮我管理最头疼的数据库事务，本身提供了一套简单的JDBC访问实现，提供与第三方数据访问框架集成（如Hibernate、JPA

本节是 Spring Boot基础，主要介绍了Spring MVC技术基础。如果您对此部分已有了解可越过本节的学习。 由于篇幅关系，MVC框架学习分成了两个部分，此篇为第一部分；介绍了spring boot集成MVC框架、使用Controller、URL映射到方法、方法参数。 一、集成MVC框架 1、引入依赖 Spring Boot 集成Spring MVC 框架并实现自动配置，只需要在porm 中添加以下依赖即可，不需要其他任何配置： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> 这里采用IDEA 搭建的过程可以参考： 《第一个 Spring Boot2.x 程序快速搭建》 https://blog.csdn.net/LUCKWXF/article/details/94472728 2、web目录结构参考 Web 的模板文件位于resources/templates 目录下，模板文件使用的静态资源文件，如js 、css 、图片，存放在resources/static 目录下。在MVC 中， 视图名自动在templates 目录下找到对应的模板名称，模板中使用的静态资源将在static

1.什么是集成学习 什么是集成学习，以前我们都是使用一个算法来进行预测，难免会有"独断专行"的感觉。集成学习是将多个算法集成在一块，然后多个算法对同一个问题进行预测，然后少数服从多数，这便是集成学习。 我们生活中有很多集成学习的例子，比如买东西的时候看推荐，如果10个人推荐你买A产品，但是只有1个人推荐你买B产品，我们会更将倾向于买B产品。 我们看看sklearn是如何为我们提供集成学习的接口的。 from sklearn.datasets import make_moons from sklearn.model_selection import train_test_split from sklearn.ensemble import VotingClassifier # ensemble，与集成学习有关的模块 X, y = make_moons(n_samples=500, noise=0.3, random_state=666) X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666) from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.tree

第7章 集成学习和随机森林 写在前面 参考书 《机器学习实战——基于Scikit-Learn和TensorFlow》 工具 python3.5.1，Jupyter Notebook, Pycharm 投票分类器 使用不同的训练方法训练同样的数据集。 from sklearn.ensemble import VotingClassifier： voting_clf = VotingClassifier( estimators=[ ('lr', log_clf), ('rf', rnd_clf), ('svc', svm_clf) ], voting='hard' ) voting_clf.fit(X_train, y_train) bagging和pasting 每个预测器使用的算法相同，但是在不同的训练集随机子集上进行训练。 采样时样本放回：bagging(boostrap aggregating，自举汇聚法)，统计学中，放回重新采样称为自助法(bootstrapping)。 采样时样本不放回：pasting。 from sklearn.ensemble import BaggingClassifier bag_clf = BaggingClassifier( DecisionTreeClassifier(), n_estimators=500, max_samples=100,

介绍 Stacking 、 Bagging 和 Boosting 三种方式。 一、 Stacking 思想：由原始的训练集训练出若干个单模型，将单模型的输出结果作为样本特征进行整合，并把原始样本标记作为新数据样本标记，生成新的训练集。再根据训练集训练一个新模型，并对样本进行预测。 注意：模型训练时，如果直接使用一级模型对初始的训练样本进行预测来产生二级训练集，会产生较大的过拟合风险。因而，常采用 " 交叉验证法 " 或 " 留一法 " 来由一级模型未使用的样本产生二级模型的训练集。将样本划分为 K 份，选择 K-1 份作为 " 训练集 " ，剩余的一份作为 " 测试集 ", 因而总共有 K 种组合方式。每次使用一种方式来训练 T 个模型（模型可以是 " 异质的 " ，也可以是 " 同质的 " ），利用测试集产生一份训练数据作为样本特征，对应的原始测试集数据的样本标记被作为新数据样本标记来使用。最后，将由一级模型产生的 K 次结果组合到一起，作为二级模型的输入进行训练模型。 二、 Bagging 思想：对训练集进行有放回的抽样得到子训练集，比较著名的是 0.632 自助法。每个基学习器基于不同的子训练集进行训练，然后综合所有基学习器的预测值得到最终的预测结果。常采用 " 投票法 " ，即将票数最多的类别作为预测类别。 三、 Boosting 思想：模型的训练是按照顺序的

关于偏差和方差：偏差是大家心有灵犀的一起跑向了错误的位置，方差是，大家跑向的终点有远有近，跨度较大。 偏高方低，欠拟合；偏低方高，过拟合 集成学习三类区别：bagging降低方差，boosting降低偏差，stacking提升预测结果 来源： https://blog.csdn.net/qq_24572475/article/details/97610695

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/wsp_1138886114/article/details/80552230 集成学习（Emsemble Learning）–融合学习 集成学习（Emsemble Learning）–融合学习 一、基学习器构建方法 三. 模型融合 3.1 Voting 和 Averaging 融合 3.2 Bagging 融合—并行训练 （例如 随机森林） 3.3 Boosting 融合—-串行（迭代）训练 3.3 Stacking 分类和回归的延续和升华 使用一系列学习器进行学习，把各个学习结果进行融合， 从而获得比单个学习器更好的学习效果的一种机器学习方法。 一、基学习器构建方法 1. 不同的算法，相同的训练集 2. 相同的算法，不同的参数设置 3. 不同的训练集，相同的算法（Bagging Boosting） 附：（A：算法 C：分类器） 三. 模型融合 单个模型容易发生过拟合，多个模型提高泛化能力（提升预测能力） 3.1 Voting 和 Averaging 融合 Voting： 投票法 --针对分类问题 硬投票（hard）：基于分类标签投票 软投票（soft）：基于分类标签概率投票 代码： sklearn.ensemble