大数据

近日某快手员工发帖爆料：快手已经官宣2021年1月10日后开启全员大小周，恭喜我司员工人均月薪上涨5000块。 不得不说字节和快手真是一对好兄弟，字节刚刚对齐快手的周末加班双薪，快手马上就对齐字节的大小周。 网友们表示无语，有什么可喜的，上涨的不过是加班费而已。 大小周还要恭喜，楼主什么价值观？ 有人说，涨工资带来的快感只有三个月，但加班带来的压抑是永久的。 同司员工表示一点也不想大小周，这点加班费算什么，陪伴亲人更重要。 有人说996和大小周彻底让互联网成了理所当然的压榨，就算给加班费，也有不愿加班的人被迫加班。 有人想要自由，却被剥夺了选择的权利，只能选择离职，如果全国企业都学习快手，后果不堪设想，简直是历史的倒退。 许多人担心快手这种举动会带坏互联网的风气，不知有多少公司会效仿，从而带起一场互联网大小周的风潮，内卷会越来越严重。 真是唇亡齿寒，互联网行业危险了。 有人感叹，从此以后互联网行业的双休就不是常态，而是一种福利了。 国家这两年提倡的每周2.5天假期，到互联网行业却被整成了大小周。在国家推行工作日缩短，提升劳动人民幸福感的时候，大小周真的不是大势所趋。 建议人社部约谈头条和快手，以免形成恶劣风气。 还有人呼吁大家投诉这些大小周的公司，如果现在不抵制这种风气，后续将会有更多公司加入，苦的还是打工人。工作强度如此大，就算领了几年快钱，后面身体垮了就被年轻人替换

作者简介 周耀，Kyligence 解决方案架构师，Apache Kylin、Apache Superset Contributor。 Apache Kylin 和 ClickHouse 都是目前市场流行的大数据 OLAP 引擎；Kylin 最初由 eBay 中国研发中心开发，2014 年开源并贡献给 Apache 软件基金会，凭借着亚秒级查询的能力和超高的并发查询能力，被许多大厂所采用，包括美团，滴滴，携程，贝壳找房，腾讯，58同城等； OLAP 领域这两年炙手可热的 ClickHouse，由俄罗斯搜索巨头 Yandex 开发，于2016年开源，典型用户包括字节跳动、新浪、腾讯等知名企业。 这两种 OLAP 引擎有什么差异，各自有什么优势，如何选择 ？ 本文将尝试从技术原理、存储结构、优化方法和优势场景等方面，对比这两种 OLAP 引擎， 为大家的技术选型提供一些参考。 01 技术原理 技术原理方面，我们主要从 架构 和 生态 两方面做个比较。 1.1 技术架构 Kylin 是基于 Hadoop 的 MOLAP (Multi-dimensional OLAP) 技术，核心技术是 OLAP Cube ；与传统 MOLAP 技术不同，Kylin 运行在 Hadoop 这个功能强大、扩展性强的平台上，从而可以支持海量 (TB到PB) 的数据；它将预计算（通过 MapReduce 或

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！刚过去的2020双11，阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”，基于Flink的阿里巴巴实时计算平台简直强·无敌。 最恐怖的是，阿里当时的实时计算峰值达到了破纪录的 每秒40亿条 记录，数据量也达到了惊人的 7TB每秒 ，相当于一秒钟需要读完500万本《新华字典》！Flink的强悍之处，阿里已屡试不爽！ 01 阿里为何坚定不移地选择Flink？ 大数据起源于批处理，在批处理上，Spark有很深的积累。为了应对全球大量业务的实时需求，Spark也推出了流计算解决方案——SparkStreaming。但Spark毕竟不是一款纯流式计算引擎，所以在时效性等问题上，始终无法提供极致的流批一体体验。 而后起新秀 Flink 的基本数据模型则是数据流，以及事件(Event)的序列。数据流作为数据的基本模型，可以是 无边界的无限“流” ，即一般意义上的流处理；也可以是 有边界的有限“流” ，也就同时兼顾了批处理。 关于以上，阿里搜索事业部资深搜索专家蒋晓伟曾谈到： Spark和Flink都具有流和批处理能力，但是他们的做法是相反的。Spark Streaming是把流转化成一个个小的批来处理，这种方案的一个问题是我们需要的延迟越低，额外开销占的比例就会越大，这导致了Spark

中国制造业要从产品竞争走向供应链竞争、生态平台竞争，就必须通过协同研发的方式弥补技术创新与产业发展之间的断层。 出品 | 常言道 作者 | 丁常彦 改革开放之初，我国珠三角地区凭借廉价的劳动力、低廉的土地成本等优势，承接了大量发达国家的产业转移，通过“三来一补”、“前店后厂”等模式，实现了快速发展；历经二十余年的发展后，珠三角地区的制造业企业，已经积累起一定的资金、技术和人才资源。 但进入21世纪后，低端制造业对环境的压力持续增加，再加上“用工荒”导致的人力成本增加等，传统制造业正在加速向东南亚地区转移；与此同时，受贸易战影响，西方发达国家也在积极推动高端制造业回归，在这种情况下，珠三角地区制造业加快转型升级，实现高质量发展已经势在必行。 当前，在新一代信息技术的推动下，数字化浪潮已经席卷全球，全球产业链正在被重塑，这无疑给粤港澳大湾区产业升级带来了前所未有的新机遇。但如何实现从“中国制造”向“中国智造”、“中国创造”转型，却是一个不小的难题。 2020年12月18日，“协同创新业态 智享云端研发”为主题的橙色·云工业产品协同研发平台推介会在深圳盛大召开，在此次推介会上， 橙色云设计有限公司针对粤港澳大湾区制造企业的转型升级，发布了“橙色·云工业产品协同研发平台” ，倡导共建“研发设计产业互联网新业态”，这无疑为制造企业的转型升级和企业研发上云提出了新思路。 产业转型加速

导读 为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项目”开始实施并深受校内师生的认可。项目通过整合建设课程模块，形成了大数据思维与技能、跨界学习、实操应用相结合的大数据课程体系和线上线下混合式教学模式，显著提升了学生大数据分析能力和创新应用能力。 至今，已有来自全校45个院系的2657名同学参加大数据能力提升项目，其中445位同学通过课程学习和实践获得由清华大学研究生院颁发的“清华大学大数据能力提升项目证书”。 谈起最大的收获，同学们表示无论是自身的数据思维还是本专业与大数据技术相结合的科研能力以及实践经验等方面均得到了很大的提升。 清华的数据科学人才培养究竟有什么特别之处？让我们一起通过他们的故事，揭秘各院系清华学子的大数据能力提升之路吧！ 清华大学航天航空学院博士赵雪轩 研究方向：遥感卫星智能化 作为工科院系的学生，我在本科阶段是几乎没怎么上过大数据相关课程的，然而由于人工智能和大数据技术的兴起，导师希望我的博士课题能够将传统的遥感卫星课题与新兴的智能技术结合起来，系统性地讨论新技术在具有航天背景的课题上的应用，这也成为了我参加大数据能力提升项目的动因。 参加项目后我选择的第一门课程是大数据系统基础（A）

摘要： 基于华为开源openLooKeng引擎的交互式分析功能，将重磅发布便于用户构建轻量级流、批、交互式全场景数据湖。 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。 与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。 华为云3年前发布的Serverless大数据分析服务 - 数据湖探索DLI，经过这几年的迭代升级，已经包含用于实时分析的Flink引擎，用于离线分析的Spark引擎。今年基于华为开源openLooKeng引擎的交互式分析功能，也将于Q4重磅发布，便于用户构建轻量级流、批、交互式全场景数据湖。 openLooKeng使用了业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力，并继续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展，让数据治理、使用更简单。 关键特性 1. 毫秒级查询性能 DLI使用的openLooKeng引擎在内存计算框架的基础上，还利用许多查询优化技术来满足高性能毫秒级的交互式分析的需要。 1.1 索引 openLooKeng提供基于Bitmap Index、Bloom

阿里云服务器价格由CPU内存价格、公网带宽费用和磁盘存储费用组成，云服务器配置不同价格也不同，阿里云服务器网来详细说下2021阿里云服务器优惠活动报价、云服务器官方收费标准及阿里云服务器价格计算器网址： 阿里云服务器收费标准 阿里云服务器收费标准是指阿里云官方的定价，实际购买价格会在此定价的基础上享受对应的折扣， 阿里云服务器云小站活动 中价格为收费标准的1折甚至更低。阿里云百科分享一个很好用的工具，是阿里云官网推出的云服务器价格计算器，选择好云服务器CPU内存、操作系统、带宽磁盘等选项，可以一键计算出云服务器价格明细，如下图： 阿里云服务器收费标准由三部分组成：CPU内存价格+公网带宽价格+磁盘存储价格，收费标准仅供参考，实际购买价格要比收费标准便宜： 云服务器CPU内存ECS实例规格价格 阿里云服务器分为多种ECS实例规格，如ECS共享型s6实例、ECS计算型c6、突发性能t5实例、ECS通用型g5、GPU实例、内存型r6、高主频计算型、大数据型、本地SSD型等，ECS实例规格不同价格也不同，云服务器地域不同价格也有所差异，新手站长网以阿里云华东1（杭州）地域为例，来详细说下阿里云服务器不同ECS实例规格的收费标准： 实例规格 vCPU 内存(GB) 按量(小时) 标准目录月价 优惠月价 年付月价 3年付月价 5年付月价 突发性能型 ecs.t6-c1m2.large 2 4

【本文2300字，阅读需要7分钟】 数字化时代，人工智能、大数据、云计算、边缘计算、物联网、移动互联网、第五代通信等新技术正在逐步影响着人们的生活。将这些数字化时代的新技术应用于气象服务的具体应用场景上会怎样？今天开开“脑洞”，大胆的进行了一些设计，虽然只是一种想法，但我非常希望我们的气象服务越来越智慧，越来越有价值。以下是具体的设计思路和应用场景，如有不妥之处请业内同行批评指正。 （一）大城市安全运行气象服务设计 设计思路： 基于物联网+边缘计算+区块链技术的大城市安全运行气象服务。随着5G技术应用的逐步成熟，阻碍万物互联的网络传输将得到解决，这些技术结合研发的气象服务产品将应用于城市交通、输电线网、输气管网、排水通道等保障大城市安全运行的基础生命线上。物联网的应用能够将气象环境的观测应用于常规探测设备无法触达的领域，尤其是条件恶劣的“生命线”上，快速收集海量设备数据，解决目前行业气象服务中无法解决的全链条追踪监测问题，同时应用边缘计算技术解决物联网探测设备的实时业务、数据优化以及安全隐私保护等方面的关键问题。通过边缘计算可将应用视频图像等大量计算识别天气要素的算法部署到边缘和终端，减少数据量传输，增强天气信息采集能力。最后再结合区块链技术搭建出气象数据交易平台，让物联网探测以及边缘计算分析后的气象信息可信度更高，构建出气象数据生产者与消费者之间点对点的协作机制与桥梁

测试工作中，不知道大家是否遇到过这种情况：有时遇到一些问题、 BUG ，提交之后开发会遇到项目时间紧、暂时难以解决、问题影响可能较少优先级低等原因被一再的遗留，慢慢的当再次见到这些问题，大家渐渐的麻木了，很自然的就继续遗留，遗留多了欠下的债就大了，但是到底是否到了该修改的时候呢？怎么去评估呢？用数据说话！ 相信很多公司都有用户反馈信息，这些反馈的信息就是一笔宝贵的财富，它能帮助你评估你的产品做的怎么样、有什么问题甚至用户会主动给你提出一些建议，因此测试应该多关注这部分信息，用以帮助优化测试方案、流程，那么怎么处理这些信息呢？ 举一个例子： 作为测试，可能不怎么知道自然语言处理的知识、大数据处理的各种算法，但是依然能够处理它们。首先，给这些留言划分关键字，将 N 条数据拆成名词、动词等等各种片段关键字，然后对它们进行统计，对所有关键字进行排序，可能有 M 个，取前边一部分关键字就能够反映出主要的问题了，但是关键字可能依然很多，此时将取出来的关键字两两成对进行正则表达式匹配，此时将匹配的数量进行排序，相信用两个关键字索引出来的会更有说服力，此时人工进行分类、统计得到粗略的数量占比，例如下图： 可能之前你找报资源、输入法消失等问题时，会被推迟，但是看到它们占比很靠前、很重要的时候，就会被重视，专门抽出时间去解决。 当然这仅仅是开启问题兜底的第一步，面对各种问题

学习一门新技术的时候，最大的苦恼之一，大概就是不知道从何入手。 典型的情况是，你大概知道学会以后，这门技术可以帮你解决什么问题。但是，怎么才能学会、循序渐进的学习路线是什么、学习范围有多大的深度和广度、涉及到哪些前置知识……这些问题你就不太清楚了，只能根据别人推荐的或者网上看到的教程，先学了再说。 这时，一张 技能图谱 就能帮到你。它像脑图一样，列出主要的知识节点，并且按照学习的线索串起来，让你明白自己的学习路径，以及哪些地方需要查漏补缺。 知名的 IT 技术知识学习平台 “极客时间” ，在开设了近千门课程的基础上，整理出了24张不同领域的技能图谱，涵盖 前端、后端、移动、运维、微服务、大数据、机器学习 等热门领域，方便用户把相关的知识和技能串起来。 扫码填写相关信息后，即可获得24套技能图谱下载地址： 这些技能图都是精心制作的 PDF 格式大图，可以方便地查看和打印，以下是几张图谱的示例： 扫码填写相关信息后，即可获得24套技能图谱下载地址： 额外惊喜福利 开通极客时间团队学习账号，你和你的小伙伴们都能参与免费学习活动 ，畅学1000+课程， 内容包括： 算法、人工智能、架构、前端、后端、测试、运维等各种技术领域课程，适合从初级到高级的所有工程师； 阿里、字节跳动、腾讯、哔哩哔哩、携程等大厂在中台、架构、人工智能等方向上的实战应用； 700多个InfoQ技术大会实录视频