xgboost

最近时间都忙于参加阿里天池的全国社会保险大数据应用创新大赛，终于结束，最终全国排名第7，总共是1336只队伍参加，还是很激动进了前10，今天想把一些体悟写一下，希望对后来参加的人有用。这个比赛是完成数据算法模型的开发设计，实现对各类医疗保险基金欺诈违规行为的准确识别，根据给出的数据情况，最开始有两个思路，1.从就诊记录入手，找到可疑的就诊记录，然后拼接到人上 2.直接构造人的可疑程度的行为特征。两者都试过，最终选择了后者，因为题目给出的欺诈标签主要是人的欺诈标签，并没有给出某次就诊行为的欺诈标签。另外，此次的评测指标是F1值，这个非常重要，你要知道你最终排名都是看的这个值。下面我从三个方面讲一下这次比赛的心得。 一、特征 可能没参加比赛前很难理解 特征决定上限 的这个真理，特征特征才是最重要的！ 一定要看特征重要度，要不断尝试，有些组合到一起反而降低，有些特征看着不重要，你把他去了 可是结果却会出现下降的情况，因为特征和特征之间是有关系的。 在重要特征做深入处理的收益远大于在次要特征中继续做。 汇总信息有些时候会丢失信息，比如我们最开始将医院数据进行了汇总，计算每个人去一级医院，二级医院，三级医院的个数，反而没有把所有医院的维度扩充好。 观察和了解你的数据很重要。观察数据发现患者同一天在同一个医院有药费，有治疗费分别出现不同的就诊id，包括挂号的费用也是不同的id

作者|LAKSHAY ARORA 编译|VK 来源|Analytics Vidhya 概述 PyCaret是一个超级有用的Python库，用于在短时间内执行多个机器学习任务 学习如何依赖PyCaret在几行代码中构建复杂的机器学习模型 介绍 我建立的第一个机器学习模型是一个相当麻烦的代码块。我仍然记得构建一个集成模型，它需要许多行代码，它十分需要一个向导来解开这些混乱的代码！ 当涉及到构建可解释的机器学习模型时，尤其是在行业中，编写高效的代码是成功的关键。所以我强烈建议使用PyCaret库。 我希望PyCaret在我的刚学习机器学习的日子里出现！这是一个非常灵活和有用的库，我在最近几个月已经相当依赖。我坚信任何有志成为数据科学或分析专业人士的人都会从使用PyCaret中受益匪浅。 我们将看到PyCaret到底是什么，包括如何在你的机器上安装它，然后我们将深入研究如何使用PyCaret来构建可解释的机器学习模型，包括集成模型。 目录 什么是PyCaret？为什么要使用它？ 安装PyCaret 熟悉PyCaret 使用PyCaret训练我们的机器学习模型 使用PyCaret构建集成模型 分析模型 做出预测 保存并加载模型 什么是PyCaret？为什么要使用它？ PyCaret是Python中一个开源的机器学习库，它可以帮助你从数据准备到模型部署。它很容易使用

https://study.163.com/course/courseMain.htm?courseId=1006383008&share=2&shareId=400000000398149 （博主录制） (原创声明，转载引用需要指明来源) 以windows10系统为例，打开电脑左下角菜单，点击Anaconda Prompt(Anaconda3)，建议用管理员身份运行，避免一些安装第三方模块时发生权限不足问题。 接着弹出一个黑色窗口，我们输入pip install 模块名。例如我想安装xgboost模块用于建模，就输入pip install xgboost。 另一种方式是输入conda install xgboost。conda是一种通用包管理系统，是想要构建和管理任何语言的任何类型的软件。因此，它也适用于Python包。Pip代表Pip Installs Packages，是Python的官方认可的包管理器，最常用于安装在Python包索引（PyPI）上发布的包。pip是Python包的通用管理器； conda是一个与语言无关的跨平台环境管理器。对于用户，最显着的区别可能是这样的：pip在任何环境中安装python包; conda安装在conda环境中装任何包。使用conda install 包的时候，默认是装在root环境下的。如果初学者不清楚哪种安装方式更好

https://study.163.com/course/courseMain.htm?courseId=1006383008&share=2&shareId=400000000398149 （博主录制） (原创声明，转载引用需要指明来源) 加州大学尔湾分校的NIH生物医学荧光光谱研究中心整合了大量的python第三方模块文件，用于扩展python应用。这些文件是非官方的，意味着非正式，没有担保和责任，可用于项目测试和评估。官网网址为 https://www.lfd.uci.edu/~gohlke/pythonlibs/ Index by date罗列了第三方模块的文件名，你们可以查找需要的模块，并点击下载。例如我点击xgboost模块。 然后选择对应你们电脑操作系统的模块文件。 https://study.163.com/provider/400000000398149/index.htm?share=2&shareId=400000000398149 （博主视频教学主页） 来源： oschina 链接： https://my.oschina.net/u/4275057/blog/4300049

XGBoost 重要参数(调参使用) 数据比赛Kaggle,天池中最常见的就是XGBoost和LightGBM。 模型是在数据比赛中尤为重要的，但是实际上，在比赛的过程中，大部分朋友在模型上花的时间却是相对较少的，大家都倾向于将宝贵的时间留在特征提取与模型融合这些方面。在实战中，我们会先做一个baseline的demo，尽可能快尽可能多的挖掘出模型的潜力，以便后期将精力花在特征和模型融合上。这里就需要一些调参功底。 本文从这两种模型的一共百余参数中选取重要的十余个进行探讨研究。并给大家展示快速轻量级的调参方式。当然，有更高一步要求的朋友，还是得戳 LightGBM 和 XGBoost 这两个官方文档链接。 XGBoost 的重要参数 XGBoost的参数一共分为三类： 通用参数 ：宏观函数控制。 Booster参数 ：控制每一步的booster(tree/regression)。booster参数一般可以调控模型的效果和计算代价。我们所说的调参，很这是大程度上都是在调整booster参数。 学习目标参数 ：控制训练目标的表现。我们对于问题的划分主要体现在学习目标参数上。比如我们要做分类还是回归，做二分类还是多分类，这都是目标参数所提供的。 完整参数请戳官方文档 通用参数 booster ：我们有两种参数选择， gbtree 和 gblinear

最近时间都忙于参加阿里天池的全国社会保险大数据应用创新大赛，终于结束，最终全国排名第7，总共是1336只队伍参加，还是很激动进了前10，今天想把一些体悟写一下，希望对后来参加的人有用。这个比赛是完成数据算法模型的开发设计，实现对各类医疗保险基金欺诈违规行为的准确识别，根据给出的数据情况，最开始有两个思路，1.从就诊记录入手，找到可疑的就诊记录，然后拼接到人上 2.直接构造人的可疑程度的行为特征。两者都试过，最终选择了后者，因为题目给出的欺诈标签主要是人的欺诈标签，并没有给出某次就诊行为的欺诈标签。另外，此次的评测指标是F1值，这个非常重要，你要知道你最终排名都是看的这个值。下面我从三个方面讲一下这次比赛的心得。 一、特征 可能没参加比赛前很难理解 特征决定上限 的这个真理，特征特征才是最重要的！ 一定要看特征重要度，要不断尝试，有些组合到一起反而降低，有些特征看着不重要，你把他去了 可是结果却会出现下降的情况，因为特征和特征之间是有关系的。 在重要特征做深入处理的收益远大于在次要特征中继续做。 汇总信息有些时候会丢失信息，比如我们最开始将医院数据进行了汇总，计算每个人去一级医院，二级医院，三级医院的个数，反而没有把所有医院的维度扩充好。 观察和了解你的数据很重要。观察数据发现患者同一天在同一个医院有药费，有治疗费分别出现不同的就诊id，包括挂号的费用也是不同的id

最近时间都忙于参加阿里天池的全国社会保险大数据应用创新大赛，终于结束，最终全国排名第7，总共是1336只队伍参加，还是很激动进了前10，今天想把一些体悟写一下，希望对后来参加的人有用。这个比赛是完成数据算法模型的开发设计，实现对各类医疗保险基金欺诈违规行为的准确识别，根据给出的数据情况，最开始有两个思路，1.从就诊记录入手，找到可疑的就诊记录，然后拼接到人上 2.直接构造人的可疑程度的行为特征。两者都试过，最终选择了后者，因为题目给出的欺诈标签主要是人的欺诈标签，并没有给出某次就诊行为的欺诈标签。另外，此次的评测指标是F1值，这个非常重要，你要知道你最终排名都是看的这个值。下面我从三个方面讲一下这次比赛的心得。 一、特征 可能没参加比赛前很难理解 特征决定上限 的这个真理，特征特征才是最重要的！ 一定要看特征重要度，要不断尝试，有些组合到一起反而降低，有些特征看着不重要，你把他去了 可是结果却会出现下降的情况，因为特征和特征之间是有关系的。 在重要特征做深入处理的收益远大于在次要特征中继续做。 汇总信息有些时候会丢失信息，比如我们最开始将医院数据进行了汇总，计算每个人去一级医院，二级医院，三级医院的个数，反而没有把所有医院的维度扩充好。 观察和了解你的数据很重要。观察数据发现患者同一天在同一个医院有药费，有治疗费分别出现不同的就诊id，包括挂号的费用也是不同的id

最近时间都忙于参加阿里天池的全国社会保险大数据应用创新大赛，终于结束，最终全国排名第7，总共是1336只队伍参加，还是很激动进了前10，今天想把一些体悟写一下，希望对后来参加的人有用。这个比赛是完成数据算法模型的开发设计，实现对各类医疗保险基金欺诈违规行为的准确识别，根据给出的数据情况，最开始有两个思路，1.从就诊记录入手，找到可疑的就诊记录，然后拼接到人上 2.直接构造人的可疑程度的行为特征。两者都试过，最终选择了后者，因为题目给出的欺诈标签主要是人的欺诈标签，并没有给出某次就诊行为的欺诈标签。另外，此次的评测指标是F1值，这个非常重要，你要知道你最终排名都是看的这个值。下面我从三个方面讲一下这次比赛的心得。 一、特征 可能没参加比赛前很难理解 特征决定上限 的这个真理，特征特征才是最重要的！ 一定要看特征重要度，要不断尝试，有些组合到一起反而降低，有些特征看着不重要，你把他去了 可是结果却会出现下降的情况，因为特征和特征之间是有关系的。 在重要特征做深入处理的收益远大于在次要特征中继续做。 汇总信息有些时候会丢失信息，比如我们最开始将医院数据进行了汇总，计算每个人去一级医院，二级医院，三级医院的个数，反而没有把所有医院的维度扩充好。 观察和了解你的数据很重要。观察数据发现患者同一天在同一个医院有药费，有治疗费分别出现不同的就诊id，包括挂号的费用也是不同的id