集成学习

Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库、函数和外部工具。其中既有Python内置函数和标准库，又有第三方库和工具。 读者福利，想要了解python人工智能可直接点击链接即可领取相关学习福利包： 石墨文档 是安全网站放心，继续访问就可以领取了哦 这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度学习、数据可视化、交互学习和集成开发以及其他Python协同数据工作工具。 为了区分不同对象的来源和类型，本文将在描述中通过以下方法进行标识： Python内置函数： Python自带的内置函数。函数无需导入，直接使用。例如要计算-3.2的绝对值，直接使用abs函数，方法是 abs(-3.2) Python标准库：Python自带的标准库。Python标准库无需安装，只需要先通过import方法导入便可使用其中的方法。例如导入string模块，然后使用其中的find方法： importstringstring.find('abcde','b') 第三方库：Python的第三方库。这些库需要先进行安装（部分可能需要配置）。 外部工具：非Python写成的库或包，用于Python数据工作的相关工具。 「推荐度」3星最高，1星最低。 01 文件读写 文件的读写包括常见的txt、Excel

摘要 ：本文主要目的是梳理集成学习的知识体系 一、什么是集成学习？ 面对一个机器学习问题，我们一般有两种方案： 1）训练不同的模型，选取一个效果最好的模型作为解决方案，进行重点调参优化 2）训练多个模型，可能每一个模型并不是最优的，但是综合考虑所有模型的输出结果，就会得到较好的最终结果 方案2便是集成学习 如果训练的多个模型是同一类型的模型（同为决策树或者神经网络等），则称该集成为“同质”的，所用算法称为“基学习算法”，每一个模型叫做“基学习器” 如果训练的多个模型非同一类型，则称该集成为“异质”的，此时不存在“基学习算法”的概念，每一个模型叫做“组件学习器”或“个体学习器”。 二、集成学习的分类 集成学习主要分为两大类，一类是bagging，另一类是boosting，他们分别对应着不同的训练和预测过程 首先我们要明确的是，不同基学习器的训练肯定对应着不同的样本分布或者不同的模型参数，如果使用同一个训练集的相同样本分布且模型参数相同（所选择模型），则集成学习没有意义。 1）在训练方面，bagging是通过对训练集的不同采样+基分类器选择不同超参数的方式进行训练，基分类器之间无强依赖，所以可以并行独自训练；boosting则是按照顺序，首先赋予样本相同的权重去训练第一个基分类器，然后根据该分类器在决策上的表现，提高该分类器分错的样本对应的权重，训练下一个基分类器

本博客仅用于记录学习知识，如有雷同请联系我 参考： https://blog.csdn.net/qq_34106574/article/details/82016442 清华大学 数据挖掘课程 1.Bagging——BootStrap Aggregation bagging是有放回的取出样本中的部分样本，进行多次这种操作得到多组样本，用这些样本训练多个分类器，然后在预测的时候，用这些分类器进行预测，用这些预测值进行投票。比如7个预测为1，3个预测为0，则总的预测值就为1。 2.典型算法 随机森林——Random Forest 随机森林就是将多个（500 <= M <= 5000）决策树集合起来得到一个森林进行决策，根据上面的定义，就是用不同的决策树进行预测，然后用这些预测进行投票。 假设有N个样本，有放回的取N个样本，这种随机抽取的方法最终 的极限是 ，而剩下的数据可以用于测试集。 当然对于这M个决策树，在测试的时候可以用到的测试集的数据是要在训练中没有用的高的数据（训练集不一样，测试集也不一样）。 如果每个样本的特征维度为K，指定一个常数k<<K，随机地从K个特征中选取k个特征子集，每次树进行分裂时，从这k个特征中选择最优的，这和决策树的特征有关 优点： 1.不需要人为的去讲数据分成测试集验证集 2.不需要担心过拟合问题，在随机森林中有多个决策树，即使有一部分树过拟合了

First，What is Ensemble Learning 1.将 多个分类方法聚集在一起 ，以提高分类的准确率（可以是相同or不同算法） 2.集成学习法由 训练数据构建一组基分类器 ，然后通过对每个基分类器的预测进行投票来进行分类 3.严格来说，集成学习并不算是一种分类器，而是一种分类器结合的方法。 4.如果把单个分类器比作一个决策者的话，集成学习的方法就相当于多个决策者共同进行一项决策。 那就产生了两个问题。 1.怎么训练每个基分类器？ 2.怎么融合每个基分类器 Then，we have bagging and boosting 集成学习大致分为两类，一类串行生成，如 Boosting 。一类为并行化，如 Bagging 。 1.Bagging 1.Bagging又叫自助聚集，是一种根据均匀概率分布从数据中重复抽样（有放回）的技术。 2. 每个抽样生成的自助样本集上，训练一个基分类器；对训练过的分类器进行投票，将测试样本指派到得票最高的类中。 3.每个自助样本集都和原数据一样大 4.有放回抽样，一些样本可能在同一训练集中出现多次，一些可能被忽略。 如下图 举个例子吧。 X 表示一维属性，Y 表示类标号（1或-1）测试条件：当x<=k时，y=？；当x>k时，y=？；k为最佳分裂点 下表为属性x对应的唯一正确的y类别 现在进行5轮随机抽样，结果如下 每一轮随机抽样后

为了检验员工对于公司相关制度的日常学习掌握情况，充分发挥制度的约束、规范、督导和激励作用，增强管理执行力，近日，我公司组织了有为新海员工职业素质能力测试专场考试。本次考试，围绕公司相关执行制度、针对服务管理体系部门、集成体系部门、研发体系部门分别重点考察不同知识点。题目涉及企业文化、礼仪规范、集成项目管理、采购等多方面。农业大数据项目组、集成实施部、政研部三部门以优异表现受通报表扬。 不以规矩不能成方圆，制度不是停留于书面，宣贯入心是手段、执行落地是目标、考核督导是保障。公司重要制度由相关部门、岗位人员共同研究讨论制定，采取部门集中学习、分批集中授课、辩论竞赛、专项测试等多种形式进行制度宣导，促进各级员工加强对制度的深化理解。 在制度执行过程中，严格规范标准，并由专门部门进行督查，并纳入日常绩效考核内容，进一步促进员工主动学习制度、遵守制度、用好制度，以公司规章制度规范自身行为、推进了企业制度文化的建设，以软实力推动新海发展再上新台阶。 来源： oschina 链接： https://my.oschina.net/u/3779022/blog/3157917

假设随机问很多人同一个问题，然后将许多份回答整合起来，通常情况下会发现这个合并的答案比一个专家的答案还要好。这就如同俗语所说“三个臭皮匠，顶个诸葛亮”，也好比对某个问题进行民主投票一样。机器学习中集成学习的思想与之类似。 在分类问题中，传统机器学习方法是在一个由各种可能的函数构成的假设空间中寻找一个最接近实际分类函数的分类器 ，单个的分类器模型到如今已经发展了不少，有的甚至成为了经典分类算法，如决策树、支持向量机以及朴素贝叶斯等。 集成学习的思路是：在对新样本进行分类时，把若干个单个分类器集成起来，通过对这些单个分类器的预测结果进行某种组合来决定最终的分类，从而取得比任意一个单个分类器更好的性能。如果把单个分类器比作一个决策者的话，集成学习的方法相当于多个决策者共同进行决策。 经典的分类器———随机森林，就是在决策树的基础上通过集成学习衍生而来，并且是集成方法bagging的代表模型。著名的集成方法包括 bagging, boosting, stacking 和其他一些算法。需要注意的是：并不是任意的集成都是有效的，还要考虑到中和效应，即一些分类性能差的分类器会拉低整体的分类能力。 示例如下： 例中将随机森林、支持向量机以及逻辑回归模型视为三个单个分类器，并将三者集成为一个 voting_clf 集成分类器，结果表明集成分类器的分类表现优于构成它的两个单个分类器，但劣于逻辑回归

一、添加启动依赖 在SpringBoot工程的maven文件里面添加依赖如下： <properties> <java.version>1.8</java.version> <druid.version>1.1.13</druid.version> <mybatis.version>2.1.0</mybatis.version> <druid.version>1.1.21</druid.version> </properties> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>${mybatis.version}</version> </dependency> 这个启动器相关依赖如下 二、配置 1.在启动类*Application配置@MapperScan注解，告诉Spring Boot扫描哪些包下面的Mapper接口。如下 @SpringBootApplication @MapperScan(basePackages = "com.soft.fireadmin.platform.*.dao") public class FireAdminApplication { public static

/*--> */ /*--> */ /*--> */ /*--> */ /*--> */ /*--> */ /*--> */ /*--> */ 随机森林的主要作用是降低模型的复杂度，解决模型的过拟合问题。 1、随机森林概述 ¶ 随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候投票决定测试样本的最终类别。 2、随机森林算法流程 ¶ 随机森林是非常具有代表性的Bagging集成算法，它的所有基评估器都是决策树，分类树组成的森林就叫做随机森林分类器，回归树所集成的森林就叫做随机森林回归器。其主要包括4个部分：随机选择样本；随机选择特征；构建决策树；随机森林投票分类。 随机森林的分类算法流程如下图： 1.样本选择 自助采样：假设训练数据集包含m个样本，随机从样本集中可放回的抽取m次，得到与训练集数量相同的训练集。经过K轮自助采样，可以得到K个包含m个训练样本的采样集。随机选择样本是有放回！！！ 2.特征选择 在随机森林中，我们不计算所有特征的增益。如果每个特征的样本维度为M，指定一个常数m<<M，随机地从M个特征中选取m个特征。然后计算m个特征的增益，选择最优特征（属性）。若M=m，则与传统决策树相同，一般而言，推荐$m=\log_2{M}$或$m=\sqrt{M}$。随机选择特征是无放回！！！ 3.决策树构建 基于随机采样后采样后的数据集进行多个决策树的构建

BAGGING:有放回的从训练集中选取T个采样集（m个样本）分别给T个弱学习器，这样采样初始训练集会有63.2%出现在这T个样本中，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合，对新样本的预测是通过这T个弱学习器进行投票来决出（分类），或者求均值（回归） 随机森林：RF在以决策树位基学习器构建bagging基础上，进一步在决策树训练过程中引入了随机属性选择。在每一个决策树中，假定采样集中的有d个属性，从中随机选择包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分 BOOSTING：先从初始训练集中训练出一个基学习器，再根据基学习器的表现对训练分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将T个基学习器进行加权结合。 BOOSTING家族：AdaBoost->GBDT->XGBoost->LightGBM AdaBoost：加法模型+用前一轮的误差率来更新权重，分错的权重越大，反之越小，弱学习器不限。 GBDT：加法模型+前向分布算法，弱学习器只限CART回归树 前向分布算法：从第一轮到最后一轮，每一轮都优化损失函数，当前伦需要优化的损失函数是前一轮优化完的损失函数+当前分类器的损失函数，难以并行，但是可以并行。在GBDT的迭代中

集成学习之Boosting —— AdaBoost 集成学习之Boosting —— Gradient Boosting 集成学习之Boosting —— XGBoost Gradient Boosting 可以看做是一个总体的算法框架，起始于Friedman 的论文 [ Greedy Function Approximation: A Gradient Boosting Machine ] 。XGBoost (eXtreme Gradient Boosting) 是于2015年提出的一个新的 Gradient Boosting 实现，由华盛顿大学的 陈天奇 等人开发，在速度和精度上都有显著提升，因而近年来在 Kaggle 等各大数据科学比赛中都得到了广泛应用。本文主要对其原理进行阐述，并将其与传统的 GBDT 进行比较。 大体来看，XGBoost 在原理方面的改进主要就是在损失函数上作文章。一是在原损失函数的基础上添加了正则化项产生了新的目标函数，这类似于对每棵树进行了剪枝并限制了叶结点上的分数来防止过拟合。二是对目标函数进行二阶泰勒展开，以类似牛顿法的方式来进行优化（事实上早在 [ Friedman, J., Hastie, T. and Tibshirani, R., 1999 ] 中就已有类似方案，即利用二阶导信息来最小化目标函数，陈天奇在论文中也提到了这一点）。