大数据

这几天，拼多多员工猝死一事，让“996”、内卷”的话题热销而上。 其实，关于996的话题已经闹了4年多了，从最初的“996ICU”网站，到马云说“996是当代年轻人的福利”。996的概念被不同的企业提及和批判，它像一种传染病一样从互联网企业弥漫到其他领域，成为员工久久抵制而愈发严重的问题。事实上，互联网大厂的加班早已不是“潜规则”，越来越多的公司追求狼性文化，由“996”演变为“007”。 996是企业“内卷”的表现 01 以商业管理的角度来看“996”——这就是企业“内卷”的表现。企业管理模式不够先进，人效比低，那就只能从单位人力和单位时间上拼命追赶对手（让员工拼命加班），以避免被市场淘汰。这种“高投入低产出”，本身就是缺乏有效管理和有效商业模式的明证。 “996”本身不是合理的做法，我们深究其背后，会发现它追求的是资本的效益，也就是我们企业管理所说的“人效比”。那么，怎么投入合适的人天，以实现资本和公司的效益最大化？ 提升“人效比”，才是摆脱“内卷”的最佳方法 02 2020 年，商业环境剧烈变化，企业裁员、降薪的案例比比皆是。目前在各赛道冲刺的企业选手，都是练长跑的。当业务发展速度降低甚至萎缩时，人效比就成为了公司持续发展的核心指标，精益管理、降本增效、团队建设等才能得到真正的重视。 企业竞争力的核心在于人效，在相同行业中，人效的高低直接反映了竞争力。人效就是一个简单的KPI

T HURSDAY 2018年9月4日，2018 百度云智峰会在上海盛大召开。在当天下午的智能金融分论坛上，来自百信银行副行长兼首席信息官寇冠分享了《金融科技点亮智惠生活》的主题演讲。 寇冠介绍到，百信银行作为全球首家由“主流商业银行+主流互联网公司”联手打造的 新型互联网银行 ，将致力于成为全球领先的智惠金融服务平台，积极探索 金融行业与人工智能等新一代信息技术的融合，用科技来践行普惠金融。 BaaS：重新定义银行 众所周知，传统银行通常拥有大量的实体网点和传统业务，带来了巨大的经营和管理成本。而百信银行作为互联网银行， 所有业务都是通过线上渠道为客户提供产品和服务。百信银行从建设开始，就与百度云共同构建基于互联网的体系架构。 寇冠介绍到，百信银行的发展模式是BaaS：Banking-as-a-Service，打造创新的智能账户、智能服务和智能风控，所有差异化、场景化、智能化的创新金融产品和服务全部都是构建在数据基础之上。 寇冠表示，BaaS这种发展模式打破了空间和流量的模式限制，在一个场景中适应了两个模式的变化，这两种模式是O+O（Offline + Online）和B+B（Business +Banking）。 自正式开业以来，百信银行在短短不到一年时间内，已经拥有 超过200多万个人用户，11万个体工商户和小微企业主，发放450亿普惠贷款。寇冠介绍到

hive窗口函数/分析函数 在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。 窗口函数最重要的关键字是 partition by 和 order by。 具体语法如下： over (partition by xxx order by xxx) sum,avg,min,max 函数 准备数据 1 建表语句: 2 create table bigdata_t1( 3 cookieid string , 4 createtime string , --day 5 pv int 6 ) row format delimited 7 fields terminated by ',' ; 8 9 加载数据： 10 load data local inpath '/root/hivedata/bigdata_t1.dat' into table bigdata_t1; 11 12 cookie1,2018-04-10,1 13 cookie1,2018-04-11,5 14 cookie1,2018-04-12,7 15 cookie1

目录 1. 数禾科技 2. 云上自建CDH 3. 云上混合架构 4. 阿里云第一代数据湖 4.1. 什么是数据湖 4.2. 阿里云数据湖设计 4.2.1. 阿里云数据湖整体架构 4.2.2. 统一存储和元数据管理 4.2.3. 多EMR多OSS桶设计 4.2.4. 分布式调度系统设计 4.2.5. 用户权限系统设计 4.2.6. EMR弹性伸缩设计 4.2.7. 负载均衡管理 4.2.8. OSS桶生命周期管理 4.2.9. 日志管理 4.2.10. 终端权限管理 4.2.11. 组件UI管理 4.2.12. 监控告警管理 4.2.13. 即席查询设计 4.2.14. 集群安全组设计 4.2.15. 数据脱敏设计 4.2.16. YARN队列设计 4.3. 数据湖EMR治理 4.3.1. 调整EMR预伸缩时间 4.3.2. 更改EMR弹性伸缩策略 4.3.3. 优化EMR云盘空间 4.3.4. EMR机器组的选择 4.3.5. EMR成本控制 4.3.6. 购买RI预留抵扣券 4.3.7. 弹性保障 4.4. 数据湖OSS治理 4.4.1. 数仓ODS多版本桶治理 4.4.2. 数仓日志桶治理 4.4.3. 数仓桶和集市桶治理 4.4.4. 监控桶内对象 5. 阿里云第二代数据湖 5.1. 阿里云数据湖构建 5.2. 阿里云数据湖解决方案 1.数禾科技 数禾科技成立于2015年8月

点击上方 蓝色字体 ，选择“ 设为星标 ” 回复”资源“获取更多资源 大数据技术与架构 点击右侧关注，大数据开发领域最强公众号！ 大数据 真好玩 点击右侧关注，大数据真好玩！ Delta Lake 是一个存储层，为 Apache Spark 和大数据 workloads 提供 ACID 事务能力，其通过写和快照隔离之间的乐观并发控制（optimistic concurrency control），在写入数据期间提供一致性的读取，从而为构建在 HDFS 和云存储上的数据湖（data lakes）带来可靠性。Delta Lake 还提供内置数据版本控制，以便轻松回滚。 为什么需要Delta Lake 现在很多公司内部数据架构中都存在数据湖，数据湖是一种大型数据存储库和处理引擎。它能够存储大量各种类型的数据，拥有强大的信息处理能力和处理几乎无限的并发任务或工作的能力，最早由 Pentaho 首席技术官詹姆斯迪克森在2011年的时候提出。虽然数据湖在数据范围方面迈出了一大步，但是也面临了很多问题，主要概括如下： 数据湖的读写是不可靠的。数据工程师经常遇到不安全写入数据湖的问题，导致读者在写入期间看到垃圾数据。他们必须构建方法以确保读者在写入期间始终看到一致的数据。 数据湖中的数据质量很低。将非结构化数据转储到数据湖中是非常容易的。但这是以数据质量为代价的。没有任何验证模式和数据的机制

在SDCC2016的架构师进阶之路主题，我分享了《老曹眼中的全栈架构师》话题，会后在csdn博客（http://blog.csdn.net/wireless_com）发布了同名文字， 在我的公众号（wireless_com）发了《全栈的技术栈设想》。然后， 有幸得到了中生代技术（freshmanTechnology）和多人的转载，中生代技术还专门开通了全栈架构师深度讨论群,引起了很多的争论和争议。 主要分为以下三种观点： 1）根本没有意义，纯属忽悠 如网友回复：“鬼都知道说的什么 数据 缓存 业务 性能 消息队列 操作系统 产品 云存储 大数据这些高大上的名次，天天聊天就讨论这些高大上的名称， 然而并没有什么卵用。” 2）有可能，但参考意义不大 有网友回复：“个人觉得不值得推崇，很多程序员为了全栈，东一榔头西一棒子，结果啥都没搞好” 3）表示赞同，具体实践待推敲 如网友@张真Alex 的说法：“比较认同全栈架构师，从前ibm把架构师分为六大类，是六脉神剑各使一剑，而如今，不管是工程师还是架构师都应该有全栈的思维（不一定全栈的技能），特别是架构师的职能，需要从业务，技术体系，端到端都具备相当的战斗力才行” 如此多的争议并不意外，事情越辩越明，在此分享一下那篇文字的初衷和自己的重新思考。本着科学的态度，讨论的前提应该是对问题明确，基本概念的定义是一致的，对不同逻辑推理得到的结果进行讨论

前几天做了个噩梦，梦见上家公司喊我回去加班，惊醒了，因为上一份工作是997嘛，只是没想到离职几个月了还会因为这种梦惊醒。想起来也真是可笑，上班的时候其实并没有太多感觉，过后会感觉害怕这样的工作。 干我们这个行业，加班是一定的，我相信997的兄弟肯定也有很多的，比如和我一个项目组的兄弟，他们肯定也要是997了。应该还有不少兄弟，加班强度是要大于997的。我希望看到这篇文章的兄弟也不要觉得我矫情，我矫情的不是997，而是997的时候，每天的工作内容还不喜欢。 我的性格比较佛系，然后，抗压能力是真的可以（没吹），对于加班，我也没有什么排斥呀什么的（我现在的工作时间是10 10 6， 但是很满意），但还是想总结一下为什么出现上次工作的状况。 每个人都可以做好职业规划，自己选择一份是否满意的工作，但我选错了一次。 我第一份工作大概做了3年多（从实习开始），参与的是一个某运营商的基础架构的平台建设工作，主要负责微服务相关组件的研发建设工作，对一个普通本科来说，是不是感觉我运气挺好，起点还不错。加班多的时候也就是周一二四加班到9点，然后周六可能也加班，虽然我对加班没什么太多感觉，况且加班也习惯了，但是我一直以为这种加班强度，算是比较高了。 也就是去年这时候，2020年1月底，离职了。当时还是做了不少准备，主要是算法方面，准备春节后去北上广找一些一线互联网大厂。但是刚好赶上疫情了。虽然吧

来源｜雷锋网 编辑｜王德清 “一码通行”还需要多久？ 新冠疫情肆虐以来，健康码俨然成为了人们日常生活的“通行密钥”。 作为新冠疫情精准防控的重要工具，许多城市在疫情爆发之后，纷纷联合了相关供应商，推出了自己的健康码。如北京的“健康宝”、上海的“随申码”、广东的“粤康码”、广州的“穗康码”…… 真麻烦，换一个城市就要重新，申请当地的健康码！ ▲微博网友@Y1ZE晒出的深圳宝安机场的健康申报现场 在过去的2020一年里，这样的牢骚并不鲜见。虽然从国家层面一直都在推动各省（区、市）防疫健康信息共享、健康码互通互认，但在具体实施层面一直都不顺利。 2021年1月15日，国家发展改革委副主任连维良在2021年全国春运电视电话会议上表示，春运期间，要落实好防疫健康码统一政策、统一标准、全国互认、一码通行。各地要依托全国一体化政务平台，落实健康码互认机制和规则，明确跨地区流动人员健康码信息在各地区可信可用，切实保障群众必要的出行需求。 “全国互认、一码通行是普遍性的原则要求，‘码”上加‘码’是个例、是特殊，确有原因暂不能与其他地区互认的，要先报告。”连维良特别强调到。 春运临近，面对严峻复杂的疫情防控形势，多省市发出了工作地过年，非必要不出省等倡议。数据显示，2021年春运节前车票的预售较往年同期下降近6成，预计全国铁路春运客流将下调至2.96亿人次。 显然，即使春运流动人员相比往年下降许多，2

　　我们说 Redis 相对于 Memcache 等其他的缓存产品，有一个比较明显的优势就是 Redis 不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。本篇博客我们就将介绍这些数据类型的详细使用以及顺带介绍Redis系统的相关命令用法。 　　 注意：Redis的命令不区分大小写，但是key 严格区分大小写！！！ 1、string 数据类型 　　string 是Redis的最基本的数据类型，可以理解为与 Memcached 一模一样的类型，一个key 对应一个 value。string 类型是二进制安全的，意思是 Redis 的 string 可以包含任何数据，比如图片或者序列化的对象，一个 redis 中字符串 value 最多可以是 512M。 ①、相关命令介绍 　　string 数据类型在 Redis 中的相关命令： 　　 表格图片引用： http://www.cnblogs.com/xrq730/p/8944539.html （下同） 　　 　　 　　PS： 　　①、上面的 ttl 命令是返回 key 的剩余过期时间，单位为秒。 　　②、mset和mget这种批量处理命令，能够极大的提高操作效率。因为一次命令执行所需要的时间=1次网络传输时间+1次命令执行时间，n个命令耗时=n次网络传输时间+n次命令执行时间

一、前言 几个月前编写了一份python语言入门的博文，近期重新审阅了一遍发现编写的质量太过随意，可能对于一部分人并不是非常友好，故此重新编写Python语言的零基础教程。 本篇教程将会尽量把一些专业术语给读者讲解清楚，并且让读者知道一些基本原理使读者在之后的学习中更游刃有余。本系列教程将会从最开始普及一些专业术语开始，随后介绍一些学习方法，不要让读者带着不适合当前技术水平的思想误区来学习该教程，最后总结一下学习方向，也为各位读者捋清一下学习思路。 本系列教程将会以一种“魔法世界”的形式编写，欢迎各位支持。 学习目标 了解编程是什么 了解程序是什么 了解解释是什么 了解学习完编程后能够做什么 二、适用对象 本系列教程为零基础轻松入门课程，适用对象为零基础的读者。读者并不用担心本系列教程会出现难以理解的，所有出现的“未理解的知识”都将给读者解释明白，在正式开始学习Python语言内容正式开始前会给读者普及一些编程的概念，使读者了解编程是什么、什么是解释、以及一些常规问题的解答。 在零基础的读者学习编程前，我个人非常推荐新手先了解一些基本的计算机、编程概念，只有了解了一些概念才会使之后的学习更加的轻松，减少错误的出现。可能大多数读者没有该条件，也不清楚从何查到所需要的知识，这正是本系列文章编写的原因。该系列文章将结合我学习编程的经验，各个方面的剖析问题，让各位新手读者少踩坑多实践