大数据

1月19日，工信部公布关于下架侵害用户权益App名单，通报下架12款侵害用户权益APP，涉及Wake、场库、简单课堂、红人直播、桔多多等。 截至目前，经第三方检测机构核查复检，尚有12款App未按照要求完成整改。因此，工信部依据相关法律和规范性文件要求，对12款App进行下架。相关应用商店应在本通报发布后，立即组织对名单中应用软件进行下架处理。 据了解，被通报下架的软件应用（App）分别为Wake、场库、玫瑰约会同城交友、淘券吧、一罐、猜猜这是谁、简单课堂、红人直播、学宝、桔多多、林鹿聊天交友、陪你。 其中，Wake由北京唤醒之光网络科技有限公司开发运营，主营瑜伽课程等服务。该公司宣称其是明星刘涛最喜爱的瑜伽生活品牌，由华创资本、华映资本、东方富海等投资机构注资。 根据公开信息，Wake曾在2018年5月宣布完成A+轮融资，由上市公司三七互娱（SZ:002555）独家战略投资。Wake创始人兼CEO熊明俊表示，新一轮融资，将主要用于加大品牌建设、高端内容升级和继续加大扩展市场用户份额。 同时，熊明俊也是Wake所属公司的法定代表人及实际控制人。根据工商信息，熊明俊直接持有该公司股权50.8134%，华映资本持股11.115%，东方富海持股9.5%、华创资本持股7.4385%，三七互娱通过西藏泰富文化传媒有限公司持股7%。 场库由北京新片场传媒股份有限公司开发运营

城市的核心是人，人的本体意义就在于追求幸福。以人为核心，容纳和助成幸福的达成，是城市存在的价值，也是实现城市治理体系和治理能力现代化的最佳选择。今日，城市居民的幸福感知与能力，已不同往日。近百年未有之大变局，日新月异的自然、经济、社会发展，内外部频繁冲刷着生存与生活。时代在催问：如何让城市更健康、更安全、更宜居，让城市居民的生活更有品质，成就一座幸福之城？城市在多大程度上可以为幸福作为一种感受、作为一种能力提供支撑？城市和作为人的主体怎样形成一种良好发展的互动？这是城市治理能力的讨论，也是居民幸福感的关切。 推动以人为核心的智慧化城市治理，是提升城市居民幸福感的有效途径。在杭州，有关于城市数字治理的“城市大脑”建设提案获得了城市管理者的认同，按照“共建、共治、共享”的原则开始了杭州的数字化探寻方案。这使得杭州——这个接连多年荣获“中国最具幸福感城市”的天堂之城，提供了一个从城市大脑通往幸福城市的现实案例。 1、幸福之基 基于全世界各个国家城市的可持续发展面临很大挑战，这些挑战也提供了一个难得的机遇，那便是运用机器智能处理城市发展过程中许多关键的问题。世界上最遥远的距离不是从南极到北极，而是从交通信号灯到交通道路摄像头，它们在同一根杆子上，但从来没有通过数据被连接起来过，道路摄像头看见的东西永远不会成为交通信号灯的转换。数据不通，交通不畅。 城市大脑要做的，便是以互联网为基础设施

​本文根据高新刚老师在〖2020 Gdevops全球敏捷运维峰会〗现场演讲内容整理而成。 （点击文末“阅读原文”可获取完整PPT） 讲师介绍 高新刚， 京东数科数据库团队负责人，负责京东数科数据库平台的管理维护工作，带领团队平稳护航多次 6·18、11·11的大促活动；对数据库多业务场景架构设计，高并发解决方案，数据生态管控有着丰富的实践经验；对数据库库中间件、分布式事务数据库和自动化智能化运维平台设计开发有着深入的实践和探索；长期专注于数据库产品化输出和国产数据库的探索研究。 当我们遇到海量这个词的时候，大家第一时间会想到和数据库相关的哪些内容？比如海量的数据量、大规模的数据库的节点数、高并发的业务访问。海量的数据带来的是存储和弹性扩展的问题，大规模的数据库节点给我们带来的是批量运维的困扰，高并发访问带来的是性能的问题。 所以我认为，解决大部分的海量数据的问题，一般有三种通用的方法： 第一、我们要有一个数据的全生命周期的管理体系，从数据库的写入到数据库的存储，到TP的查询，AP的查询，到后面的一些冷热数据分离和大数据实时或异步抽取，我们要有一系列的管控工具帮助我们实现高效的解决方案； 第二、我们要有一个非常稳定、平稳高效的架构体系，也就是说不管你怎么去做弹性的缩扩容，不管你怎么去做数据的搬迁，也都是在这一个相对固定的TP和AP的架构框架下面去运行； 第三

1月15日， ElasticSearch 创始人、Elastic 公司 CEO Shay Banon 宣布，将把 Elasticsearch 和 Kibana 的 Apache 2.0-licensed 源码协议修改成 SSPL（Server Side Public License、服务器端公共许可证）和 Elastic License 双重协议！下面是 Shay Banon 修改 Elasticsearch 和 Kibana 开源协议的全文翻译。 注：下面的我们是指 Elastic 公司（或 Shay Banon） 我们正在将 ElasticSearch 和 Kibana 源代码的 Apache 2.0 许可证修改为服务器端公共许可（SSPL）和 Elastic License 双重许可，并且让用户可以选择申请哪个许可。此许可证变更确保了我们的社区和客户可以自由开放地代码进行使用、修改、重新分发和协作。它还通过限制云服务提供商提供 Elasticsearch和 Kibana 服务来保护我们在开发免费开放产品上的持续投资。这个修改将适用于这两个产品的所有维护分支，并将在即将发布的 7.11 版本之前发生。我们的发行版将继续使用过去三年用的 Elastic License。 源代码许可的这种改变对绝大多数免费使用我们默认发行版的社区用户、Elastic

CDA数据分析师出品 编译：Mika 【导读】收集更多的数据会导致更好的决策吗？像亚马逊、谷歌和网飞这样有竞争力、精通数据的公司已经认识到，单靠数据分析并不总能产生最佳结果。在文中，数据科学家塞巴斯蒂安·韦尼克分析了当我们纯粹基于数据做出决策时出现的问题，并提出了一种更聪明的使用方法。 亚马逊用数据拍剧却翻车 Roy Price这个人，在座的绝大多数可能都没听说过。实际上，Roy Price是亚马逊广播公司的一位资深决策者，该公司是亚马逊旗下的一家电视节目制作公司。 Roy Price有一个责任非常重大的工作，他要负责帮亚马逊挑选即将制作的原创剧集。这个领域的竞争非常激烈，其他公司已经有非常多的电视剧集。Roy不能只是随便乱挑一个剧，他必须找出真正会火的剧集。 换句话说，他挑选的剧必须落在这条曲线的右侧。这条曲线是IMDB(网络电影资料库)上2500个电视节目的用户评分曲线图，评分从1到10。纵轴表明有多少剧达到这个评分。如果你的剧达到9分或以上，那就妥妥的赢了，也就是说你拥有那2%的顶尖剧。 例如像「绝命毒师」「权力的游戏」「火线重案组」这类全是令人欲罢不能的剧。看完一季之后，你马上就会想看下一季。 「绝命毒师」剧照 曲线左边，不妨选个最靠边比较明显的点，这里有个叫「选美小天后」(儿童选秀类)的节目。这足够让你明白曲线最左端代表了什么。 Roy

一，分析代码运行时间 第1式，测算代码运行时间 平凡方法 快捷方法（jupyter环境） 第2式，测算代码多次运行平均时间 平凡方法 快捷方法（jupyter环境） 第3式，按调用函数分析代码运行时间 平凡方法 快捷方法（jupyter环境） 第4式，按行分析代码运行时间 平凡方法 快捷方法（jupyter环境） 二，加速你的查找 第5式，用set而非list进行查找 低速方法 高速方法 第6式，用dict而非两个list进行匹配查找 低速方法 高速方法 三，加速你的循环 第7式，优先使用for循环而不是while循环 低速方法 高速方法 第8式，在循环体中避免重复计算 低速方法 高速方法 四，加速你的函数 第9式，用循环机制代替递归函数 低速方法 高速方法 第10式，用缓存机制加速递归函数 低速方法 高速方法 第11式，用numba加速Python函数 低速方法 高速方法 五，使用标准库函数进行加速 第12式，使用collections.Counter加速计数 低速方法 高速方法 第13式，使用collections.ChainMap加速字典合并 低速方法 高速方法 六，使用numpy向量化进行加速 第14式，使用np.array代替list 低速方法 高速方法 第15式，使用np.ufunc代替math.func 低速方法 高速方法 第16式，使用np.where代替if

文章来源: 智东i 编辑：智东西内参 8大技术优势，6个发展趋势，人脸识别已经深入到了生活的方方面面。 近年来， 随着人工智能、计算机视觉、大数据、云计算、芯片等技术的迅速发展，人脸识别技术取得了长足的进步并且在众多场景中得以成功应用并大规模商业化普及，为经济社会的发展以及人们日常生活带来便捷 。 就市场发展趋势而言， 人脸识别应用场景虽然渗透各个行业场景， 但市场规模增长趋势出现分化， 国内市场呈现从算法竞争到芯片全产业链激烈竞争的状态；就技术发展层面， 边缘端 SOC 芯片算力的提升使得人脸识别系统中的部分甚至全部算法可以运行在边缘设备上， 从而使云边结合已成为人脸识别产品和应用方案的发展趋势。 本期的智能内参，我们推荐全国信息技术标准化技术委员会的研究报告《2020 年人脸识别行业研究报告》，从技术特点、行业发展趋势和标准化现状三方面还原人脸识别技术的最新发展状况。 本期内参来源：全国信息技术标准化技术委员会 原标题： 《2020 年人脸识别行业研究报告》 作者：蒋慧 等 01 . 什么是人脸识别？ 人脸识别 ( Face Recognition) 是一种基于人的面部特征信息进行身份识别的生物特征识别技术 。近年来 ， 随着人工智能 、 计算机视觉 、 大数据 、 云计算 、 芯片等技术的迅速发展 ， 人脸识别技术取得了长足的进步并且在众多场景中得以成功应用 。

为什么你写的sql查询慢？为什么你建的索引常失效？通过本章内容，你将学会MySQL性能下降的原因，索引的简介，索引创建的原则，explain命令的使用，以及explain输出字段的意义。助你了解索引，分析索引，使用索引，从而写出更高性能的sql语句。还在等啥子？卷起袖子就是干！ 案例分析 我们先简单了解一下 非关系型数据库 和 关系型数据库 的区别。 MongoDB是NoSQL中的一种。NoSQL的全称是Not only SQL，非关系型数据库。它的特点是 性能高 ， 扩张性强 ， 模式灵活 ，在高并发场景表现得尤为突出。但目前它还只是关系型数据库的补充，它在数据的一致性，数据的安全性，查询的复杂性问题上和关系型数据库还存在一定差距。 MySQL是关系性数据库中的一种， 查询功能强 ， 数据一致性高 ， 数据安全性高 ， 支持二级索引 。但性能方面稍逊与MongoDB，特别是百万级别以上的数据，很容易出现查询慢的现象。这时候需要分析查询慢的原因，一般情况下是程序员sql写的烂，或者是没有键索引，或者是索引失效等原因导致的。 公司ERP系统数据库主要是MongoDB（最接近关系型数据的NoSQL），其次是Redis，MySQL只占很少的部分。现在又重新使用MySQL，归功于阿里巴巴的奇门系统和聚石塔系统。考虑到订单数量已经是百万级以上，对MySQL的性能分析也就显得格外重要。

Kafka 简介 Apache Kafka 是一个分布式发布-订阅消息系统。是大数据领域消息队列中唯一的王者。最初由 linkedin 公司使用 scala 语言开发，在2010年贡献给了Apache基金会并成为顶级开源项目。至今已有十余年，仍然是大数据领域不可或缺的并且是越来越重要的一个组件。 Kafka 适合离线和在线消息，消息保留在磁盘上，并在集群内复制以防止数据丢失。kafka构建在zookeeper同步服务之上。它与 Flink 和 Spark 有非常好的集成，应用于实时流式数据分析。 Kafka特点： 可靠性：具有副本及容错机制。 可扩展性：kafka无需停机即可扩展节点及节点上线。 持久性：数据存储到磁盘上，持久性保存。 性能：kafka具有高吞吐量。达到TB级的数据，也有非常稳定的性能。 速度快：顺序写入和零拷贝技术使得kafka延迟控制在毫秒级。 Kafka 底层原理 先看下 Kafka 系统的架构 Kafka 架构 kafka支持消息持久化，消费端是主动拉取数据，消费状态和订阅关系由客户端负责维护， 消息消费完后，不会立即删除，会保留历史消息 。因此支持多订阅时，消息只会存储一份就可以。 broker ：kafka集群中包含一个或者多个服务实例（节点），这种服务实例被称为broker（一个broker就是一个节点/一个服务器）； topic

蓝色巨人存储营收下滑何时休？ IBM最新季度报表和全年财政结果显示，在2014年度存储硬件业务营收衰减之势并没有停止。2014年第四季度营收下滑8个百分点，8.64亿美元。 虽然现在看起来数量还是相当之巨大，但是这一数字在2011年同期为12亿美元。我们在图表中的数据列出了这些数据，IBM存储硬件销售态势不容乐观。 只要观察图表中四季度销售峰值，不难发现销售额整体呈明显下降趋势。 从年度存储硬件销售额的图表中不难发现看出季度性销售额下降的趋势。 四年来存储硬件营收经历了从10年的36.8亿美元到11年34亿美元，再到12年的30亿美元，最后到了2014财年26.9亿美元。 利润还会继续下降的趋势么?IBM并没有给出任何解释。 IBM CFO Martin Schroeter说，“IBM存储营收连续下降了5个百分点。然而在我们在FlashSystems和Storwize领域的销售增长劲头十足。但这部分增长被遗留的OEM业务和高端硬盘存储疲软的销售业绩抵消了。” z13大型机很可能拉动高端硬盘(DS8000)的销售。Schroeder说分“析业务在较大的基数上上升了7个百分点”也可带动存储的销售额上涨，但除此之外很难找到其他能拉动存储销售的其他途径。 IBM的存储业务不是战略重点，不像云业务、移动业务和分析业务一样能实现两位数字的增长。但它还是高利润行业(毛利润率超过40%)