adaboost

人脸识别系统分析：系统由前端人脸抓拍采集子系统、网络传输子系统和后端解析管理子系统组成，实现对通行人脸信息的采集、传输、处理、分析与集中管理。系统中，前端人脸采集设备负责人脸图像的采集，接入服务器主要实现图片及信息的接收和转发功能，可为多种型号、多个厂家的抓拍机提供统一接入服务，接收到的抓拍图片存入云存储单元，并由人脸结构化分析服务器对抓拍的视频及图像进行建模以及黑名单实时比对报警，建模得到的人脸信息以及模型数据存入大数据单元。后端解析应用平台则根据用户的应用需要，支持实时人脸抓拍、检索等功能，可向用户提供黑名单库与抓拍图片的实时比对信息，为快速高效查到可疑目标提供服务。 人脸图像采集及检测 人脸图像采集：不同的人脸图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。 人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。 主流的人脸检测方法基于以上特征采用Adaboost学习算法，Adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起

Haar分类器使用AdaBoost算法，但是把它组织为筛选式的级联分类器，每个节点是多个树构成的分类器，且每个节点的正确识别率很高。在任一级计算中，一旦获得“不在类别中”的结论，则计算终止。只有通过分类器中所有级别，才会认为物体被检测到。这样的优点是当目标出现频率较低的时候（即人脸在图像中所占比例小时），筛选式的级联分类器可以显著地降低计算量，因为大部分被检测的区域可以很早被筛选掉，迅速判断该区域没有要求被检测的物体。 AdaBoost算法就是建立多个弱分类器，给每个弱分类器一个权重，将弱分类器组合在一起，形成一个强分类器。 弱学习（弱分类器）和强学习（强分类器。），所谓的弱学习，就是指一个学习算法对一组概念的识别率只比随机识别好一点，所谓强学习，就是指一个学习算法对一组概率的识别率很高。Kearns和Valiant提出了弱学习和强学习等价的问题 ，并证明了只要有足够的数据，弱学习算法就能通过集成的方式生成任意高精度的强学习方法。 AdaBoost算法 的弱分类器不是并行的，是一个弱分类器完成了，下一个才进行，在每个弱分类器进行当中，我们关注的是上一个弱分类器分类错误的数据样本，也就是说用当前分类器来弥补上一个弱分类器分类错误的数据样本； 总的来时，就是后一个弥补前一个分类器的不足。 Z是让权重 的归一化因子；t为第几步； yi 是实际值， 是预测值，当实际值和预测值相等时

目录 Learning from class-imbalanced data: Review of methods and applications 摘要 Introdution 介绍 Research methodology and initial statistics 调研方法和初始统计 Research methodology 调研方法 Initial statistics 初步统计 Imbalanced data classification approaches 不平衡数据分类方法 Basic strategies for dealing with imbalanced learning 处理不平衡学习的基本方法 Preprocessing techniques 预处理技术 resampling 重采样 Feature selection and extraction 特征选择和抽取 Cost-sensitive learning 代价敏感学习 Classification algorithms for imbalanced learning 针对不平衡学习的分类算法 Ensemble methods 集成方法 Iterative based ensemble 基于迭代的集成 Parallel based ensembles 基于并行的集成 Base classifier

1、权值更新方法 （1）初始化权值分布； （2）找分类误差最小的弱分类器； （3）计算出该弱分类器的权值； （4）更新权值分布； （5）集合所有弱分类器得到最终的强分类器。 2、adaboost快速收敛为什么？ 因为当前轮分错的样本的权重会在下一轮训练中得的提高，下一轮弱分类器为了达到较低的分类误差，会把样本权重高的样本纷分正确。 3、Adaboost 的优缺点？ 能够基于泛化性能相当弱的的学习器构建出很强的集成，不容易发生过拟合。 对异常样本比较敏感，异常样本在迭代过程中会获得较高的权值，影响最终学习器的性能表现。 4、和GBDT有什么区别？ Adaboost通过不断修改权重、不断加入弱分类器进行boosting；GBDT通过不断在负梯度方向上加入新的树进行boosting。 5、推导？ 来源： https://www.cnblogs.com/pacino12134/p/11336876.html

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。Adaboost算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次得到的分类器最后融合起来，作为最后的决策分类器。 算法概述 1、先通过对N个训练样本的学习得到第一个弱分类器； 2、将分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第二个弱分类器； 3、将1和2都分错了的样本加上其他的新样本构成另一个新的N个的训练样本，通过对这个样本的学习得到第三个弱分类器 4、最终经过提升的强分类器。即某个数据被分为哪一类要由各分类器权值决定。 与boosting算法比较 1. 使用加权后选取的训练数据代替随机选取的训练样本，这样将训练的焦点集中在比较难分的训练数据样本上； 　　 2. 将弱分类器联合起来，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。 与Boosting算法不同的是，AdaBoost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差

加法模型和前向分布算法 如下图所示的便是一个 加法模型 其中， 称为基函数， 称为基函数的参数， 称为基函数的系数。 在给定训练数据及损失函数 的条件下，学习加法模型 成为经验风险极小化问题，即损失函数极小化问题： 随后，该问题可以作如此简化：从前向后，每一步只学习一个基函数及其系数，逐步逼近上式，即：每步只优化如下损失函数： 这个优化方法便就是所谓的前向分步算法。 下面，咱们来具体看下 前向分步算法 的算法流程： 输入：训练数据集 损失函数： 基函数集： 输出：加法模型 算法步骤： 1. 初始化 2. 对于m=1,2,..M a)极小化损失函数 得到参数 和 。 b)更新 3. 最终得到加法模型 就这样，前向分步算法将同时求解从m=1到M的所有参数（ 、 ）的优化问题简化为逐次求解各个 、 （1≤m≤M）的优化问题。 前行分布算法和Adaboost的关系 Adaboost 还有另外一种理解，即可以认为其模型是加法模型、损失函数为指数函数、学习算法为前向分步算法的二类分类学习方法。其实， Adaboost算法就是前向分步算法的一个特例，Adaboost 中，各个基本分类器就相当于加法模型中的基函数，且其损失函数为指数函数。 换句话说，当前向分步算法中的基函数为Adaboost中的基本分类器时，加法模型等价于Adaboost的最终分类器 你甚至可以说

1. 什么是集成学习？ 如果你随机向几千个人询问一个复杂问题，然后汇总它们的答案。在许多情况下你会发现，这个汇总的回答比专家的答案还要好，这被称为集体智慧，同样，如果你聚合一组预测器的预测，得到的预测结果也比最好的单个预测器要好，这样的一组预测器，我们称为集成，也被称为集成学习。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的身影。 集成学习有两个主要的问题需要解决： 如何得到若干个个体学习器 如何选择一种结合策略，将这些个体学习器集合成一个强学习器 2. 集成学习之结合策略 2.1 个体学习器已知的情况下 blending就是将所有已知的个体学习器 结合起来，发挥集体的智慧得到 强学习器 。值得注意的一点是这里的 都是已知的。blending通常有三种形式： uniform：简单地计算所有 的平均值 non-uniform：所有 的线性组合 conditional：所有 的非线性组合 其中，uniform采用投票、求平均的形式更注重稳定性，而non-uniform和conditional追求的更复杂准确的模型，但存在过拟合的危险 2.2 个体学习器未知的情况下 blending是建立在所有 已知的情况。那如果所有个体学习器 未知的情况，对应的就是学习法，做法就是一边学 ，一边将它们结合起来

人脸辨认体系的研讨始于20世纪60年代，80年代后跟着计算机技能和光学成像技能的开展得到提高，而真实进入初级的运用阶段则在90年后期，并且以美国、德国和日本的技能完成为主；人脸辨认体系成功的关键在于是否具有顶级的中心算法，并使辨认成果具有实用化的辨认率和辨认速度；“人脸辨认体系”集成了人工智能、机器辨认、机器学习、模型理论、专家体系、视频图画处理等多种专业技能，一起需结合中间值处理的理论与完成，是生物特征辨认的最新运用，其中心技能的完成，展示了弱人工智能向强人工智能的转化。 人脸辨认体系首要包含四个组成部分，分别为：人脸图画收集及检测、人脸图画预处理、人脸图画特征提取以及匹配与辨认。 人脸图画收集及检测 人脸图画收集：不同的人脸图画都能经过摄像镜头收集下来，比方静态图画、动态图画、不同的方位、不同表情等方面都可以得到很好的收集。当用户在收集设备的拍照范围内时，收集设备会主动查找并拍照用户的人脸图画。 人脸检测：人脸检测在实践中首要用于人脸辨认的预处理，即在图画中精确标定出人脸的方位和巨细。人脸图画中包含的形式特征非常丰厚，如直方图特征、色彩特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并运用这些特征完成人脸检测。 干流的人脸检测办法依据以上特征选用Adaboost学习算法，Adaboost算法是一种用来分类的办法，它把一些比较弱的分类办法合在一起

人脸辨认体系的研讨始于20世纪60年代，80年代后跟着计算机技能和光学成像技能的开展得到提高，而真实进入初级的运用阶段则在90年后期，并且以美国、德国和日本的技能完成为主；人脸辨认体系成功的关键在于是否具有顶级的中心算法，并使辨认成果具有实用化的辨认率和辨认速度；“人脸辨认体系”集成了人工智能、机器辨认、机器学习、模型理论、专家体系、视频图画处理等多种专业技能，一起需结合中间值处理的理论与完成，是生物特征辨认的最新运用，其中心技能的完成，展示了弱人工智能向强人工智能的转化。 人脸辨认体系首要包含四个组成部分，分别为：人脸图画收集及检测、人脸图画预处理、人脸图画特征提取以及匹配与辨认。 人脸图画收集及检测 人脸图画收集：不同的人脸图画都能经过摄像镜头收集下来，比方静态图画、动态图画、不同的方位、不同表情等方面都可以得到很好的收集。当用户在收集设备的拍照范围内时，收集设备会主动查找并拍照用户的人脸图画。 人脸检测：人脸检测在实践中首要用于人脸辨认的预处理，即在图画中精确标定出人脸的方位和巨细。人脸图画中包含的形式特征非常丰厚，如直方图特征、色彩特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并运用这些特征完成人脸检测。 干流的人脸检测办法依据以上特征选用Adaboost学习算法，Adaboost算法是一种用来分类的办法，它把一些比较弱的分类办法合在一起

人脸辨认体系的研讨始于20世纪60年代，80年代后跟着计算机技能和光学成像技能的开展得到提高，而真实进入初级的运用阶段则在90年后期，并且以美国、德国和日本的技能完成为主；人脸辨认体系成功的关键在于是否具有顶级的中心算法，并使辨认成果具有实用化的辨认率和辨认速度；“人脸辨认体系”集成了人工智能、机器辨认、机器学习、模型理论、专家体系、视频图画处理等多种专业技能，一起需结合中间值处理的理论与完成，是生物特征辨认的最新运用，其中心技能的完成，展示了弱人工智能向强人工智能的转化。 人脸辨认体系首要包含四个组成部分，分别为：人脸图画收集及检测、人脸图画预处理、人脸图画特征提取以及匹配与辨认。 人脸图画收集及检测 人脸图画收集：不同的人脸图画都能经过摄像镜头收集下来，比方静态图画、动态图画、不同的方位、不同表情等方面都可以得到很好的收集。当用户在收集设备的拍照范围内时，收集设备会主动查找并拍照用户的人脸图画。 人脸检测：人脸检测在实践中首要用于人脸辨认的预处理，即在图画中精确标定出人脸的方位和巨细。人脸图画中包含的形式特征非常丰厚，如直方图特征、色彩特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并运用这些特征完成人脸检测。 干流的人脸检测办法依据以上特征选用Adaboost学习算法，Adaboost算法是一种用来分类的办法，它把一些比较弱的分类办法合在一起