机器学习

囤书囤书 薅当当网羊毛的机会又双叒叕来了！ 6月年中庆当当百万自营图书 >> 每满100减50 << >> 每满200减100 << >> 每满300减150 << >> 满400减200 << 等等，还不止半折！！！ 机械工业出版社 联合当当网特为【 机器学习与生成对抗网络 】用户申请了一批 可与满减叠加使用的 「满150减30”」 的图书优惠码，优惠码使用后相当于： 花120元买300元的书！ 比历次优惠码 力度更大！ 硬核技术书， 4折优惠！ 所以这一波优惠，不要错过！ 优惠码： 【 CAWY3S 】 （注意区分大小写，建议选中复制） 使用时间： 2020年6月9日至6月20日 使用渠道： 当当APP和当当小程序 使用条件 ： 原有的满减核算后，得出的实际消费金额总价如果超过150元即可以用优惠码再减30。 本活动满减与礼券均不支持团购，同一账号、同一地址、同一手机号、同一IP反复购买本活动商品，当当有权取消订单，终结交易。 操作方法 1、长按识别下方小程序码，界面已有推荐， 可自行搜索任意心仪图书！！！ 2、在结算付款界面，点击优惠券/码，输入优惠码（如下图所示）。 这个环节，总共分三步 促销优惠只是手段 为大家的学习之路提供薅羊毛的便利才是目的 下面我们为大家推荐几本值得一看的好书 （识别小程序码，可查看详情） 作者：陈红波 刘顺祥 等 关键词：Excel，MySQL

一、功耗：CPU的“人体极限” 程序的 CPU 执行时间 = 指令数×CPI×Clock Cycle Time CPI和指令数都不太容易，越是研发CPU的硬件工程师们就从COU主频下手 1、为什么奔腾 4 的主频没能超过 3.8GHz 的障碍呢？ 是因为功耗，我们的CPU，一般都被叫做超大规模集成电路，这些电路，实际上都是一个个晶体管组合而成的，CPU在计算、其实就是让晶体管里面的开关不断地区“打开”和“关闭”，来组合完成各种运算和功能 要想计算得快，一方面，我们要在CPU里，同样的面积里面，多方一些晶体管，也就是增加密度； 另一方面，我们让晶体管“打开”和“关闭”的更快一点，也就是提升主频，而这两者都会增加功耗，带来耗电和散热的问题 2、CPU和工厂的故事 你可以把CPU想象成一个 巨大的工厂 、里面有 很多工人，相当于CPU上面的晶体管 。互相之间协同工作，为了工作的快一点，我们在工厂里多塞一点人，你可能会问，为什么不把工厂造的大一点呢？ 1、为什么不把工厂造的大一点呢？ 这是因为，人和人之间如果离得远了，互相之间走过去需要花的时间就会变长也会导致性能下降， 这就好像如果CPU的面积大，晶体管之间的距离会变大，电信号传输的时间就会变长，运算速度自然就慢了 2、要是太热工厂里的人会中暑、cpu会出错或崩溃 除了堵塞一点人，我们还希望每个人的动作都快一点

地址：https://www.zhihu.com/people/wang-xiao-jian-38-81 《深度学习的可解释性研究概览》包含3篇内容，作者将用尽可能浅显的语言带领大家了解可解释性的概念与方法以及关于深度学习可解释性工作的研究成果。 深度学习的可解释性研究（一）—— 让模型具备说人话的能力 深度学习的可解释性研究（二）——不如打开箱子看一看 深度学习的可解释性研究（三）——是谁在撩动琴弦 深度学习的可解释性研究（一）—— 让模型具备说人话的能力 1. 可解释性是什么？ 广义上的可解释性指 在我们需要了解或解决一件事情的时候，我们可以获得我们所需要的足够的可以理解的信息。 比如我们在调试bug的时候，需要通过变量审查和日志信息定位到问题出在哪里。比如在科学研究中面临一个新问题的研究时，我们需要查阅一些资料来了解这个新问题的基本概念和研究现状，以获得对研究方向的正确认识。反过来理解， 如果在一些情境中我们无法得到相应的足够的信息，那么这些事情对我们来说都是不可解释的 。比如刘慈欣的短篇《朝闻道》中霍金提出的“宇宙的目的是什么”这个问题一下子把无所不知的排险者卡住了，因为再高等的文明都没办法理解和掌握造物主创造宇宙时的全部信息，这些终极问题对我们来说永远都是不可解释的。 而具体到机器学习领域来说，以最用户友好的决策树模型为例

导读： 模型可解释性方面的研究，在近两年的科研会议上成为关注热点，因为大家不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于模型和特征的优化，更能够帮助更好的理解模型本身和提升模型服务质量。本文对机器学习模型可解释性相关资料汇总 survey。 ——综述—— 机器学习业务应用以输出决策判断为目标。可解释性是指人类能够理解决策原因的程度。机器学习模型的可解释性越高，人们就越容易理解为什么做出某些决定或预测。模型可解释性指对模型内部机制的理解以及对模型结果的理解。其重要性体现在：建模阶段，辅助开发人员理解模型，进行模型的对比选择，必要时优化调整模型；在投入运行阶段，向业务方解释模型的内部机制，对模型结果进行解释。比如基金推荐模型，需要解释：为何为这个用户推荐某支基金。 机器学习流程步骤：收集数据、清洗数据、训练模型、基于验证或测试错误或其他评价指标选择最好的模型。第一步，选择比较小的错误率和比较高的准确率的高精度的模型。第二步，面临准确率和模型复杂度之间的权衡，但一个模型越复杂就越难以解释。一个简单的线性回归非常好解释，因为它只考虑了自变量与因变量之间的线性相关关系，但是也正因为如此，它无法处理更复杂的关系，模型在测试集上的预测精度也更有可能比较低。而深度神经网络处于另一个极端，因为它们能够在多个层次进行抽象推断，所以他们可以处理因变量与自变量之间非常复杂的关系

如何解释一个模型 今天早上和同事聊天，因为宅在家里，业余时间无事可干，大家各自发挥学习特长各种学习。然后再次感悟机器学习这个领域太大，每个看似小问题展开都是大学问。有些知识无法一时get到点，只能通过不停看参加讨论，耳濡目染，终于有一天顿悟。不知道我顿悟了没，但是想把自己get的到的关于解释机器模型的知识到和大家分享一下。 之前讨论过如何给一个模型打分。打分很好理解，根据分数能够一眼看出哪个模型更好一点。吴恩达在Machine Learning Yearning一书中强调了很多次，选择一个metric有多重要。那么解释模型又是什么鬼。 解释模型就像介绍软件功能一样，解释你的模型是怎么工作的。 比如说一个预测房价的模型，解释模型就是必须要解释，在模型中是房子的位置，大小还是房型起的作用更大。 线性模型很好解释： y = 2 x 2 + 1 x 1 + 0 训练好的模型中的 2 ， 1 就是feature的权重。 那么复杂的模型该怎么办呢。是不是所有的模型都是可以解释的呢? 有人大概要质疑了，深度学习模型不是黑盒模型吗，需要关心这个吗？ 这是一个很值得讨论的问题，为什么需要解析深度学习的模型。 首先万物当中，人类是最为矛盾的物种。人类思维不可能一夜之间从因果思维转换成相关思维。即使因果思维已经存在了几个世纪，为什么人类还是有很大一部分的有神论者。为什么热学有了第一定律后有了第二定律

程序员之歌 在那山的那边海的那边有一群程序猿 他们老实又腼腆 他们聪明又有钱 他们一天到晚坐在那里认真地改bug 他们饿了就吃一口方便面 噢~ 可爱的程序员~ 可爱的程序员~ 只要一提需求他们就要重新改一遍 可是时间只剩下最后一天 当这首歌声响起的时候 10.24到了 猿媛专属节日来了 在这个节日 拒绝On Call 24小时 告别debug 是时候在各路需求bug中忙里偷闲 收割一波专供程序员“充电”的惊喜了 薅当当网羊毛的机会又双叒叕来了！ 1024程序员节，当当百万自营图书 >> 每满100减50 << >> 每满200减100 << >> 每满300减150 << >> 满400减200 << 以为只有这样了么？我们的原则是——让大家省钱省到家！ 机械工业出版社 联合当当网特意为【 机器学习与生成对抗网络 】用户申请了一批 可与满减叠加使用的 「满200减40”」 的图书优惠码，优惠码使用后相当于： 花160元买400元的书！ 用160块就可以买到原价400元（大约四五本）的硬核技术书， 4折优惠！ 所以这一波优惠，不要错过！ 优惠码： 【 EQHTMX 】 （注意区分大小写，建议点击选中复制） 使用时间： 2020年10月20日至11月03日 使用渠道： 当当APP和当当小程序 使用条件 ：原有的满减核算后，得出的实际消费金额总价如果超过200元即可以用优惠码再减40。

1， unsupported operand type(s) for /: 'map' and 'int' 机器学习实战 PCA程序 Traceback (most recent call last): File " <ipython-input-29-808c65c1265e> " , line 1, in <module> lowDMat,reconMat =pca.pca(dataMat,1 ) File " I:\python\PCA\pca.py " , line 15, in pca meanVals = mean(dataMat, axis=0) 解决办法： 2 ，TypeError: ufunc 'isnan' not supported for the input types, and the inputs could not be safely coerced to any supported types according to the casting rule ''safe'' Traceback (most recent call last): File " <ipython-input-17-945c872e5152> " , line 1, in <module> dataMat = pca.replaceNanWithMean() File " I:

决策树是有监督学习算法中的一种。基于属性做一系列的决策，每次决策要么进入下一级决策，要么生成最终结果。决策树可以作为集成算法中的基分类器，并且有最为广泛的应用。 决策树算法 要想理解决策树的工作原理，首先需要了解决策树的层次结构。决策树由结点与有向边组成，其中，结点分为如下三种： 根结点 ：无入边，但有零条或多条出边 内部结点 ：有一条入边和多条出边 叶节点 ：有一条入边，无出边 每个叶节点都有一个类标号，根节点和内部结点包含属性测试条件，每个根节点和内部结点都对应一次条件判断，用来分开有不同特性的记录。对一条记录进行判断时，从根结点开始，根据判断进入相应分支，只到叶节点，叶节点的类别即为分类结果。比如，根据历史贷款记录预测贷款申请者是否会逾期，是否有房和婚姻状况作为属性，是否逾期作为类标号。历史数据如下： 序号 有房 婚姻状况 是否逾期 1 是 单身 否 2 否 已婚 否 3 否 单身 是 4 是 已婚 否 5 否 离异 是 6 否 已婚 否 7 是 离异 否 8 否 单身 是 9 否 已婚 否 根据历史贷款记录，可构造如下决策树： 当决策树构造好后，对未标记的记录进行分类就非常容易了。如使用以及构造好的决策树，对如下序号8这个人进行预测，可以知道，最终停在了未逾期这个节点。 序号 有房 婚姻状况 是否逾期 8 是 离异 ？ Hunt算法 是常用的用来建立决策树的算法

目录 1. 决策引擎介绍 什么是决策 什么是决策引擎 2. 应用场景 交易反欺诈应用场景 实时营销应用场景 信用反欺诈应用场景 3. 决策引擎调研 开源规则引擎 商业规则引擎 4. 决策引擎实战 决策引擎实战之：EngineX决策引擎 1. 决策引擎介绍 什么是决策 决策，指决定的策略或办法。是人们为各种事件出主意、做决定的过程。它是一个复杂的思维操作过程，是信息搜集、加工，最后作出判断、得出结论的过程。 什么是决策引擎 决策引擎是指企业针对其客户提供个性化服务的决策平台，这些个性化服务决策包括：风险决策、精确营销决策等。 决策引擎就是把商业规则转换成商业决策，在决策引擎之上可以开发出各种不同的解决方案。 1.1 早期规则模型 传统的风控规则模型主要内嵌在后台代码中，直接用硬编码的方式实现数据的获取、规则的定义、风险的判断。 优点 当规则较少、变动不频繁时，开发效率最高。 稳定性较佳：语法级别错误不会出现，由编译系统保证。 缺点 规则迭代成本高：对规则的少量改动就需要走全流程（开发、测试、部署）。 当存量规则较多时，可维护性差。 规则开发和维护门槛高：规则对业务分析人员不可见。业务分析人员有规则变更需求后无法自助完成开发，需要由开发人员介入开发。 1.2 业务定制引擎 基于特定业务场景开发的定制引擎，可视为一种推理引擎。 优点 规则配置门槛低

导读 作为国民级出行生活服务平台，高德服务的稳定性不论是平时还是节假日都是至关重要的，服务稳定性一旦出问题，可能影响千万级甚至上亿用户。春节、十一等节假日激增的用户使用量，给高德整体服务的稳定性带来了不小的挑战。每年在大型节假日前我们都会做整体服务的全链路压测。通过常态化全链路压测项目的推进，已具备了月度级别的常态化全链路压测能力，把战前演练提到日常，持续推进稳定性保障建设。 TestPG压测平台2018年9月启动，在2019年春节第一次支撑高德全链路压测任务，当时前后花了近2周的时间才完成3个机房的压测任务。后来成立了常态化全链路压测项目，通过对流程的优化以及压测平台技术能力的升级，现在已经具备了1天内完成全国3个机房全链路压测的能力。大型节假日的全链路压测周期缩短到了3天。 全链路压测的常态化不仅对高德整体服务的稳定性建设起到了推动作用，而且也推动了流程上的优化以及压测平台在技术能力上的改进提升。具体而言，我们主要从压测前的语料准备和压测过程中的压力调控两个方面入手，通过语料平台化生产，规范语料生成流程，对语料生产提效；通过压测过程中对发压能力的精准调控，使我们能够灵活调整压力模型，从而使其更加接近于线上真实情况，让全链路压测过程平滑流畅，效率提升。本文会重点介绍TestPG压测平台在发压能力精准调控方面的建设实践。 压力调控的两个主要问题