大数据

你肯定遇到过... 1 明文规定 我相信读者里面90%以上的朋友，入职公司的时候都会要求签一个协议，或者公司的明文规定，员工之间不能讨论薪资。 有的公司做的更绝！ 谁如果讨论薪资被领导知道，谁就立刻马上滚蛋！那有没有想过这是为啥呢？ 我们先来讨论商品上的一个词语：价格歧视，价格歧视是什么意思呢？ 价格歧视（price discrimination）实质上是一种价格差异，通常指商品或服务的提供者在向不同的接受者提供相同等级、相同质量的商品或服务时，在接受者之间实行不同的销售价格或收费标准。 其实我们现在说的大数据杀熟，就是价格歧视最典型代表，在外面订酒店经常发现，朋友的手机价格和我的完全不一样。 商家为什么要搞价格歧视呢？显而易见，为了挣更多的钱，获取更多的利润。 从本质上讲，不同员工不同薪资也是一种价格歧视！（这里只是个比如，我们当然不是商品了） 虽然都是价格歧视，但企业究竟是怎么获取最大收益呢？ 2 企业的心思 拿2种情况来举例： 1、 老板害怕很多人知道自己的价值！ 大家知道在一个信息不对等的环境中，企业所掌握的信息必然是大于员工的。 企业就是利用这种信息差来获取最大的利益，HR 就成为了企业招聘节省开支的代言人，比如 HR在应聘者面试的时候喜欢压价 。 这里面有2个可能，第一，HR工资一般比程序员工资低，有些难免心理不太平衡，凭啥要这么高工资；第二，有些公司压价成为习惯性动作

happybase操作Hbase语法： import happybase ## 链接HBase数据库 conn = happybase.Connection(host=’localhost’, port=9090, timeout=None, autoconnect=True, table_prefix=None, table_prefix_separator=b’_’, compat=’0.98’, transport=’buffered’, protocol=’binary’) ## 创建表 conn.create_table( 'shop', { 'interfaceInfo' :dict(max_version=4), 'inputInfo' :dict(max_version = 4) } ) #插入 table = conn.table("shop") with table.batch() as bat: bat.put('0001',{'interfaceInfo:inter_show':'HDM1', 'interfaseInfo:inter_network':'10Mbps', 'interfaceInfo:inter_three':'1个','interfaceInfo:inter_Type-c':'1个'}) bat.put('0001',{

此文Mac分风格阅读链接：https://mp.weixin.qq.com/s/WWohgIH96zoOhTkGAhv1bQ 前言 软考复习的方式可以分为两种：报班和自学。当然也有加QQ要求共同分摊网课费用的，当然被我义正言辞地无情拒绝。原因很简单：没钱。于是前前后后自学了七天，最终考过了系统架构师。或许我的学习模式不适合你，但至少会让你少走很多弯路。 首先晒一下成绩，开心的一批，虽然考的不是很好！！每科满分75，需要同时都>=45分才算合格。 软考初衷 2020，感觉要改变一下自己。毕业两年没考过证书，百度了一下了解到软考，于是脑子一热就报了个高级软件架构师，反正报名费都一样。在网上搜了搜前辈们的经验，说是留出一个月复习时间就足够了，报完名就放在一边了。 10月8日国庆假期结束，还有整整一个月的复习时间。可不巧的是，我是拖延症晚期，从30天复习时间缩减到20天，再缩减到到15天。然后参加了两场婚礼结婚过去了5天，公司系统升级又通宵了2天，一转眼就十月底了。最后只有7天时间可以复习。最后抱着破釜沉舟，背水一战，乘风破浪、重在参与的心态决定挣扎自救一波。 资料篇 视频资料 工欲善其事必先利其器，没有资料还复习个锤子。在找资料这条路上我是做了很多无用功。因为个人的习惯偏向于视频学习，可是在B站找到了寥寥几个和架构师有关的学习视频。要不就是知识点覆盖不全面，要不就是讲的拖拖沓沓

数据仓库，是我们数据工程师的无形产品，不同于可视化、交互型产品的评价体系，数据仓库的评价有其独特性。本文从概念-平台-规范的链路来介绍一下严选数据仓库，并介绍了严选数据仓库的评价体系。 数据为王的时代，数据量从最初的几十G，慢慢沉淀到几十T，甚至几十PB的量。数据工程师，也从最初的ETL工程师慢慢成长为数据全栈工程师：采集、同步、模型、离线、实时、规范、平台、工具、产品、交互、保障、数据体系等等。 数据仓库，是我们数据工程师的无形产品，不同于可视化、交互型产品的评价体系：拥有比较明确的评价指标MAU、DAU、GMV等。数据仓库一直没有比较系统的评价体系，下面从概念-平台-规范的链路来介绍一下严选数据仓库，最后跟大家交流一下数据仓库的评价体系。 数据仓库基本架构 这里概览讲一下严选数据仓库的分层逻辑，下面是严选数仓的框架图： 数据仓库分层没有绝对的规范，适合的就是最好的，特别是企业已经有一个初版的数仓的时候，需要做好改造成本和可理解性之间的平衡。 以业务数据的流向划分，目前严选数据把模型分为三层，ods，dw和dm层。其中ods是操作数据层，保留最原始的数据；dw包含dwd和dws层，这两层共同组成中间层；dm是应用层，基于dw层做汇总加工，满足各产品、分析师和业务方的需求。 ODS层（操作数据层） ：不对外开放，把业务系统数据同步到数仓。数据格式保留业务系统的数据格式

作者 | 儒枭 来源 | 阿里巴巴中间件（ID：Aliware_2018） 为什么要成长 成长是为了在职场升值，提升职场竞争力！ 衡量标准：你成长的速度要匹配甚至超越业务发展的速度。 当你成长速度超越业务发展速度的时候，组织才会把更重要的职责交给你，如果你成长的速度跟不上业务发展的速度，可能会面临被调整。 成长的维度 阿里的技术人绝大部分是做业务技术的，即业务和技术要同时发展，纯技术发展路线是指中间件、数据库、操作系统、硬件之类的实打实的技术。阿里对业务技术人的要求，既要有技术的深度，又要有业务的高度，此外还需要你有领导力、影响力等软技能，当然心态也是不容忽视的。 我的代表作是 MOZI ，2018 年年初开始做 MOZI ，我选择做 MOZI 的原因是我就要开始站在业务线或者公司层面去思考，MOZI 做了会给业务带来什么改变。 做 MOZI 的时候是站在经济体的的角度在思考问题，另外那个时候经济体的云化产品化才刚刚开始，做出 MOZI 提供一套统一解决方案正逢其时。 技术的深度 我们是做业务技术的，业务技术如何做得更加“技术”，这里我学习了很多大牛的文章，尤其是张建飞大师对我启发非常大。这里我总结下两点： 1. 业务复杂度 ：“基于复杂业务场景的抽象能力”是一种能体现你技术深度的能力，业务的本质是模型，如果我们能基于复杂业务场景抽象出领域模型或者基于复杂业务场景做流程编排

原文： ： https://www.jianshu.com/p/f9a5b07d99a2 ------------------------------------------------------------------------------------- 1、首先根据Ethernet II类型以太网帧格式可以得知，Ethernet II类型以太网帧的最小长度为64字节，最大长度为1518字节。（另外还有7字节前导同步吗＋1字节帧开始定界符是所有类型的以太网帧格式必要的） 以太网帧格式有四种类型，Ethernet II类型以太网帧格式是我通过WIRESHARK抓包后发现目前网络使用的帧格式类型。 Ethernet II Ethernet II帧格式 一开始我有个问题就是，根据TCP/IP的传输流可以知道，HTTP响应报文是装到TCP报文的数据区，TCP报文又是装到IP报文的数据区，而最后IP报文是装到以太网帧的数据区中。为什么以太网帧的数据区最大长度为1500字节，而HTTP报文最终是放在以太网帧的数据区中，却没有限制HTTP报文的大小？ 2、在WIRESHRAK抓包的时候会发现很多长度为1514的TCP报文，但是这个跟以太网帧的数据区最大长度为1518字节有什么关联吗？而且这个TCP长度为什么是1460而不是1500 ？ image.png

版权声明：本文为博主原创文章，未经博主同意不得转载。 https://blog.csdn.net/mmc_maodun/article/details/30109789 我们在学习TCP/IP协议时都知道。TCP报文段假设非常长的话。会在发送时发生分段，在接受时进行重组，相同IP数据报在长度超过一定值时也会发生分片，在接收端再将分片重组。 我们先来看两个与TCP报文段分段和IP数据报分片密切相关的概念。 MYU（最大传输单元） MTU前面已经说过了，是 链路层中 的网络对数据帧的一个限制。依旧以以太网为例，MTU为1500个字节。 一个IP数据报在以太网中 传输，假设它的长度大于该MTU值。就要进行分片传输，使得每片数据报的长度小于MTU。 分片传输的IP数据报不一定按序到达，但IP首部中的信息能让这些数据报片按序组装。 IP数据报的分片与重组是在网络层进完毕的。 MSS（最大分段大小） MSS是TCP里的一个概念 （首部的选项字段中）。 MSS是TCP数据包每次可以传输的最大数据分段，TCP报文段的长度大于MSS时。要进行分段传输。 TCP协议在 建立连接的时候通常要协商两方的MSS 值。每一方都实用于通告它期望接收的MSS选项（MSS选项仅仅出如今SYN报文段中，即TCP三次握手的前两次）。 MSS的值一般为MTU值减去两个首部大小

版权声明：本文为博主原创文章，未经博主同意不得转载。 https://blog.csdn.net/mmc_maodun/article/details/30109789 我们在学习TCP/IP协议时都知道。TCP报文段假设非常长的话。会在发送时发生分段，在接受时进行重组，相同IP数据报在长度超过一定值时也会发生分片，在接收端再将分片重组。 我们先来看两个与TCP报文段分段和IP数据报分片密切相关的概念。 MYU（最大传输单元） MTU前面已经说过了，是 链路层中 的网络对数据帧的一个限制。依旧以以太网为例，MTU为1500个字节。 一个IP数据报在以太网中 传输，假设它的长度大于该MTU值。就要进行分片传输，使得每片数据报的长度小于MTU。 分片传输的IP数据报不一定按序到达，但IP首部中的信息能让这些数据报片按序组装。 IP数据报的分片与重组是在网络层进完毕的。 MSS（最大分段大小） MSS是TCP里的一个概念 （首部的选项字段中）。 MSS是TCP数据包每次可以传输的最大数据分段，TCP报文段的长度大于MSS时。要进行分段传输。 TCP协议在 建立连接的时候通常要协商两方的MSS 值。每一方都实用于通告它期望接收的MSS选项（MSS选项仅仅出如今SYN报文段中，即TCP三次握手的前两次）。 MSS的值一般为MTU值减去两个首部大小

导语 | OLAP（On-Line Analytical Processing），是数据仓库系统的主要应用形式，帮助分析人员多角度分析数据，挖掘数据价值。本文基于QQ音乐海量大数据实时分析场景，通过QQ音乐与腾讯云EMR产品深度合作的案例解读，还原一个不一样的大数据云端解决方案。 一、背景介绍 QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品，平台打造了“听、看、玩”的立体泛音乐娱乐生态圈，为累计注册数在8亿以上的用户提供多元化音乐生活体验，畅享平台上超过3000万首歌曲的海量曲库。优质 服务的背后，是每天万亿级新增音乐内容和行为数据，PB数据量级的数据计算服务。 海量的数据意味着更高标准的数据分析业务，对于离线分析的时效、实时与近实时的即席实时交互分析，提出了更高的要求。 如何通过用户行为以及音乐内容标签数据，深入洞察用户需求，来优化泛音乐内容创作分享生态，为亿万用户带来更优质的音乐体验？是对QQ音乐大数据团队的巨大挑战以及机遇。 腾讯云弹性 MapReduce（EMR），结合云技术和社区开源技术，提供安全、低成本、高可靠、可弹性伸缩的云端泛Hadoop服务。EMR助力构建企业的大数据平台架构，适用于HBase在线业务，数据仓库，实时流式计算等大数据场景。 QQ音乐大数据团队基于业务需求，搭建和优化基于ClickHouse的OLAP实时大数据分析平台

今年暑假，华为天才少年“风靡全国”，来自华中科技大学的几位学子犹如“数字英雄”般受到广泛关注，成为街头巷尾热议的话题。“天才少年”之所以广受关注，不仅仅因为华为求贤如渴，更是数字化时代下ICT人才愈发重要的一个缩影。 这边厢天才少年热度不减，那边厢华为中国大学生ICT大赛2020好戏又接着上演。为持续加大ICT生态建设和人才培养，由华为生态大学举办的第五届中国大学生ICT大赛已经拉开帷幕。作为面向大学生群体的ICT人才生态建设全球性活动，今年的大赛无论是参赛队伍规模、比赛内容、参赛队伍水平都比往年再上一个台阶。 在数字经济快速崛起的背景下，产业数字化急需既掌握最新数字化技术又了解行业业务的“懂行人”。经过多年的积累，如今，华为中国大学生ICT大赛不仅是青年才俊施展才华的绝佳舞台，也逐渐成为产业数字化“懂行人”的摇篮，对ICT人才培养、最新数字化技术普及和数字经济建设等都带来了积极影响。 0 1 鲲鹏技术内容成今年大赛最大亮点 华为中国大学生ICT大赛2020已经于今年 9 月14 日开放报名。 据悉，今年大赛在规模上再上了一个台阶，报名人数和报名队伍相比去年都有较大幅度的增长，报名人数突破了25000人，报名高校数量则超过600家，华为ICT学院报名数量也超过300家。 今年大赛划分为实践赛和创新赛。实践赛延续历届大赛的做法，聚焦应用型人才的培养；创新赛则聚焦云计算、大数据