能力模型

0. 前言 sklearn提供了sklearn.ensemble库，其中包括随机森林模型(分类)。但之前使用这个模型的时候，要么使用默认参数，要么将调参的工作丢给调参算法（grid search等）。今天想来深究一下到底是如何选择参数，如何进行调参。 学会调参是进行集成学习工作的前提。参数可分为两种，一种是影响模型在训练集上的准确度或影响防止过拟合能力的参数；另一种不影响这两者的其他参数。模型的准确度由其在训练集上的准确度及其防止过拟合的能力所共同决定，所以在调参时，我们主要对第一种参数进行调整，最终达到的效果是：模型在训练集上的准确度和防止过拟合能力的平衡。 1. 集成学习是什么 集成学习通过构建并结合多个学习器来完成学习任务。 集成学习的一般结构：先产生一组“个体学习器”(individual learner)，然后再用某种策略将它们结合起来。个体学习器通常有一个现有的学习算法从训练数据产生，此时集成中只包含同种类型的个体学习器，比如“决策树集成”，此时的集合里全部都是决策树。同质集成中的个体学习器称为 “基学习器” (base learner)，相应的学习算法成为“基学习算法”(base learning algorithm)。 因为集成学习通过对多个“弱学习器”进行结合，可以获得比单一学习器更加显著的泛化性能，所以集成学习的很多理论研究是针对弱学习器的。因此“基学习器

AIOps 自从 Gartner 于2016年提出至今已有一段时间，虽然在顶级互联网及电信企业，已有较多落地，但至今仍无基于生产实践的理论体系及实施指南。 高效运维社区和云计算开源产业联盟（OSCAR联盟）牵头，和互联网大厂如 BATJ、360、华为、平安科技等的 AIOps 负责人联合编写了国内外首个《企业级 AIOps 实施建议》白皮书，以缩AIOps 实施路径。 一、整体介绍 AIOps，即 Artificial Intelligence for IT Operations，智能运维，将人工智能应用于运维领域，基于已有的运维数据（日志、监控信息、应用信息等），通过机器学习的方式来进一步解决自动化运维没办法解决的问题。 早期的运维工作大部分是由运维人员手工完成的，这被称为手工运维或人肉运维。这种落后的生产方式，在互联网业务快速扩张、人力成本高企的时代，难以维系。 这时，出现了自动化运维，用可被自动触发的、预定义规则的脚本，来执行常见的、重复性的运维工作，从而减少人力成本，提高运维效率。 自动化运维可以认为是一种基于行业领域知识和运维场景领域知识的专家系统。 但是，随着整个互联网业务急剧膨胀，以及服务类型的复杂多样，“基于人为指定规则”的专家系统逐渐变得力不从心。自动化运维的不足，日益凸显，这也为 AIOps 带来发展机遇。 AIOps 不依赖于人为指定规则

做人、做事，做架构师——架构师能力模型解析 要想从一名普通程序员发展成为优秀的架构师，“个人特性”与“技术技能”缺一不可；而“技术专业能力”、“人际关系能力”和“业务能力”更是优秀架构师重要的三种能力。 文 / 周爱民（《程序员》2008年4月刊） 引子 究竟是什么让你在同一个位置上——例如程序员或技术负责人——工作了三年、五年或者更久，而仍然得不到任何的发展空间？你觉得自己已成为技术圈中的大牛，并信心满满地去拿明天就要颁发的某某大奖，然而却仍然停留在同样的技术职位上，去年到今年涨的薪水甚至填不平物价升幅？于是，你开始对老板不满，对员工不满，对昨天升职的那个同事不满……你开始计划明天就要跑单，或者准备考虑提出加薪却又心怀忐忑。 如果技术人员有发展的轨迹，那么他要么“看透工具的本质，把关注点转移到‘团队’的圈子里去”，要么“顺着代码铺就的道路，亦步亦趋地成为良匠大师”。仅以技术方向而言，你大概可以做到架构师、总架构师甚至首席架构师；但问题是：你现在还只是一个程序员。那要如何才能踏上通往架构师之路呢？本文为你解析一个架构师的能力模型。 你能不能做一个好的架构师？ 架构师不是界定一个技术高下的职位名称，而是一个职务。所谓职务，包括职——职位，务——工作。前者决定了你具备哪些资源，可以影响到怎样的范围，以及面向的机构，后者则简单地是你需要完成的工作列表。 所以我说“架构师”不是指

要想从一名普通程序员发展成为优秀的架构师，“个人特性”与“技术技能”缺一不可；而“技术专业能力”、“人际关系能力”和“业务能力”更是优秀架构师重要的三种能力。 引子 究竟是什么让你在同一个位置上——例如程序员或技术负责人——工作了三年、五年或者更久，而仍然得不到任何的发展空间？你觉得自己已成为技术圈中的大牛，并信心满满地去拿明天就要颁发的某某大奖，然而却仍然停留在同样的技术职位上，去年到今年涨的薪水甚至填不平物价升幅？于是，你开始对老板不满，对员工不满，对昨天升职的那个同事不满……你开始计划明天就要跑单，或者准备考虑提出加薪却又心怀忐忑。 如果技术人员有发展的轨迹，那么他要么“看透工具的本质，把关注点转移到‘团队’的圈子里去”，要么“顺着代码铺就的道路，亦步亦趋地成为良匠大师”。仅以技术方向而言，你大概可以做到架构师、总架构师甚至首席架构师；但问题是：你现在还只是一个程序员。那要如何才能踏上通往架构师之路呢？本文为你解析一个架构师的能力模型。 你能不能做一个好的架构师？ 架构师不是界定一个技术高下的职位名称，而是一个职务。所谓职务，包括职——职位，务——工作。前者决定了你具备哪些资源，可以影响到怎样的范围，以及面向的机构，后者则简单地是你需要完成的工作列表。 所以我说“架构师”不是指“一个能做架构的人”。前者是把架构师当职能，后者是当工人。能做一份工作列表中的事

不论是在公司内部，还是在面试过程中，经常看到很多开发人员，说想成长为架构师，但是实际上却像一支无头苍蝇一样学习、成长。所以今天我就来简单总结一下，开发人员要成长为一个架构师，都应该学习哪一方面的知识。也就是：架构师的能力模型。 （PS：本文纯属个人见解，并不一定完全正确。对于此类话题，每个人可能都有不同的看法。欢迎大家拍砖。） 开发人员职业发展方向 在说明架构师能力模型前，我得先说明开发人员在职场中的职业发展方向图。 开发者应该根据自己的性格、爱好来选择自己的职业方向。对于性格外向、愿意多与人交流、沟通能力较好的同学，可以考虑向管理方向发展。对于热爱技术、喜欢钻研、性格偏内向的同学，则更适合往技术方向发展。 两个方向并没有好坏之分，只是术业有专攻而已。两个方向也不是完全独立的，对于技术总监、架构师及其以上的岗位，往往也需要较强的沟通能力，以及一定的管理能力。 CTO 是很多开发人员理想中的最终职业方向。但是对于不同的公司而言，对 CTO 要求不尽不同（可以看看 2016年炒得比较火的某 CTO 离职事件）。所以 CTO 也会由不同的岗位成长而来。但是，并不意味着每个人都要以 CTO 为自己的职业目标。 图中黑体的岗位，都可以作为开发人员的职业方向。 对于还没有职业方向的的开发人员来说，选择好一个奋斗的方向， 非常关键。方向对了，就不怕路远！ 方向不清晰，则会做很多徒劳无功的事

不论是在公司内部，还是在面试过程中，经常看到很多开发人员，说想成长为架构师，但是实际上却像一支无头苍蝇一样学习、成长。所以今天我就来简单总结一下，开发人员要成长为一个架构师，都应该学习哪一方面的知识。也就是：架构师的能力模型。 （PS：本文纯属个人见解，并不一定完全正确。对于此类话题，每个人可能都有不同的看法。欢迎大家拍砖。） 开发人员职业发展方向 在说明架构师能力模型前，我得先说明开发人员在职场中的职业发展方向图。 开发者应该根据自己的性格、爱好来选择自己的职业方向。对于性格外向、愿意多与人交流、沟通能力较好的同学，可以考虑向管理方向发展。对于热爱技术、喜欢钻研、性格偏内向的同学，则更适合往技术方向发展。 两个方向并没有好坏之分，只是术业有专攻而已。两个方向也不是完全独立的，对于技术总监、架构师及其以上的岗位，往往也需要较强的沟通能力，以及一定的管理能力。 CTO 是很多开发人员理想中的最终职业方向。但是对于不同的公司而言，对 CTO 要求不尽不同（可以看看 2016年炒得比较火的某 CTO 离职事件）。所以 CTO 也会由不同的岗位成长而来。但是，并不意味着每个人都要以 CTO 为自己的职业目标。 图中黑体的岗位，都可以作为开发人员的职业方向。 对于还没有职业方向的的开发人员来说，选择好一个奋斗的方向， 非常关键。方向对了，就不怕路远！ 方向不清晰，则会做很多徒劳无功的事

产品经理这个岗位越来越火，想做的人越来越多，有不少公司、团队也都建立了以产品为中心的组织形式。自然，网上出现了很多“产品经理的能力模型”，大家都觉得像是武林秘籍，修炼之后就可以入行，但，又发现各种模型之间差异很大，纠结不已。最近，我越想越觉得讨论所谓的能力模型又陷入了“方法中心”式的思维，和“最好的文档模板”、“最优的组织结构”没什么区别，其背后的本质还是要先“问题中心”，即思考“为什么要建立产品经理的能力模型”。 说起来，无非有这么几种原因：公司想知道招什么样的人，如何培养人，个人想知道如何发展……即合并成一个问题——产品经理需要什么能力？我们用做产品的思路再往深挖，为什么需要具备这些能力？我的答案是：能胜任手头的工作。为什么要胜任手头的工作？这个应该不用回答了。所以，到此为止，看到关键点： 胜任工作重于培养能力，工作不同，会导致需要的能力不同。 “胜任工作重于培养能力”掰开来说，是学校教育与职业教育的最大不同，学校教育是“学以致用”，因为当时不知道要做什么，所以完全的方法中心。而职业教育就是“用以致学”，是明显带着问题的学，这样的学，更高效，也更有动力。所以，我们先把“能力模型”丢一边，提出“任务模型”的概念，通过分析产品经理要做的工作，结合周边环境与个人特点，来确认他们当前，到底需要胜任什么工作。 这件事分为如下几步。每一步结论的给出，都是通过大量深访、问卷与文献研究得出

转自 51CTO技术栈 背景 本文是我从 2019 年 1 月底接手 CRO 线 NLP 算法团队以来，在团队组建、能力建设、以及管理上的一些思考，全部是没有科学论证的主观判断，不过都进行了实践。 我没有任何管理学背景知识，把拙见没羞没臊地写出来，是为了抛砖引玉，和同学们交流讨论。 团队的定位是什么？——做正确的事 定位 团队的定位是重要的事情之一，有了偏差，后续做得越多错得越多。确定团队的定位花了我很长时间，中间还发生了一次组织变化，和两任主管有多次讨论。 首先，这个团队配置在 CRO 线，肯定要为风险管理业务服务；同时，这又是一支能力团队，还要考虑和业务团队的协同关系。 最终，我确定了三点： 能力建设为主，同时也需要有业务抓手。 不做业务团队已经做得好的事情。 立志高远，勇攀高峰，要做就做到最好。 壁垒与价值 不夸张地说，现在是 NLP 领域的大航海时代，新算法层出不穷，日新月异，后浪各种把前浪碾死在沙滩上。 尤其是 BERT 横空出世之后，整个 NLP 的研究范式都发生了变化，从原来的 task-specific 的模型结构设计转变到语言模型 pretrain+ 下游任务 finetuning 的模式，预训练模型是含金量高的工作。 研究一下预训练模型，你会发现这是个需要海量金钱+数据+技术才能玩的游戏。 这就陷入两难 ：如果搞预训练模型，没那么多资源；如果不搞

Angel 是腾讯开源基于参数服务器（Parameter Server）理念的机器学习框架（ 为支持超大维度机器学习模型运算而生 ） 。 核心设计理念围绕模型，它将高维度的大模型切分到多个参数服务器节点 ， 并通过高效的模型更新接口和运算函数 ， 以及灵活的同步协议，实现机器学习算法的高效运行 。，开源代码地址： https://github.com/Tencent/angel 。 Angel 由 Java 和 Scala 开发，基于 Yarn 调度运行， 既能独立运行 ，高效运行特有的算法， 亦能作为 PS Service，支持 Spark 或其它深度学习框架，为其加速 。它基于腾讯内部的海量数据进行了反复的实践和调优，并具有广泛的适用性和稳定性，模型维度越高，优势越明显。 解释 BSP ：（Bulk Synchronous Parallel 整体同步并行计算模型），BSP的概念由Valiant(1990)提出的，“块”同步模型，是一种异步MIMD-DM模型， 支持消息传递系统 ， 块内异步并行 ， 块间显式同步 ，该模型基于一个master协调，所有的worker同步(lock-step)执行, 数据从输入的队列中读取 SSP：（ Stale Synchronous Parallel） ASP：（ Asynchronous Parallel） 研发背景 腾讯公司是一家消息平台

如何识别人的技术能力和水平？ 作者: 威灵顿 发布时间: 2018-04-16 17:57 阅读: 15652 次 推荐: 75 原文链接 [收藏] 　　这个题目是比较复杂的，它包含的东西比较多，认真讨论估计能写几万字。如果是专业研究，我看能写一本书了。这里打算根据自己的学习过程和工作经验，谈一下要点问题，均属个人看法，欢迎讨论。 　　写这篇文章的初衷，跟前段时间跟朋友们聊招聘有关。因为技术招聘除了考察人的协作精神和工作态度，一大目标便是判断人的技术能力和实际水平。在这件事情上多做观察、思考是很有意义的。 　　对于考察人的技术等级，学界是有认真的研究的。参见： 德雷福斯模型解说 。 　　德雷福斯模型把人的技能水平，分成5级： 新手、高级新手、胜任者、精通者、专家。 　　对不同技能等级的认定是这样的： 新手：依靠指令清单，必须按部就班。 就是必须给出详细而具体的操作规则，才能工作。比如你做一道从未做过的菜，需要看菜谱的说明，第一步做什么，第二步做什么等等，直到最后烹饪结束。 高级新手：有限的情景洞察力，同等对待工作的各个方面。对全局性、体系性的东西没兴趣。 这是小工的水平。比如他能跟着师傅干点活，打打下手。可以靠着反复检索搜索引擎、StackOverflow解决具体的小问题。 胜任者：能够独立解决各种各样的领域内问题。 这是一般的企业招聘，比较希望招到的等级，招进来稍作适应就能干活了