大数据

作者：Happiness 来源：https://urlify.cn/Mr6zMb ☞ 当当网4.23图书3.9折大促 ☜ Linux默认是允许Ping响应的，系统是否允许Ping由2个因素决定的 ： 1. 内核参数 2. 防火墙 需要2个因素同时允许才能允许Ping，2个因素有任意一个禁Ping就无法Ping。 内核参数设置 禁止ping设置： 1）临时禁止ping命令如下所示： # 如果想要临时允许的话只需要把下面的1换成0即可 echo 1 >/proc/sys/net/ipv4/icmp_echo_ignore_all 2）永久禁止ping命令如下所示(如果想要永久允许的话只需要把下面的1换成0即可) 在 /etc/sysctl.conf 文件中增加一行 net.ipv4.icmp_echo_ignore_all=1 修改完成后执行 sysctl -p 使新的配置生效。 防火墙设置 (注意：此处的方法的前提是内核配置是默认值，也就是没有禁止ping) 这里以iptables防火墙为例： 1）允许ping设置 iptables -A INPUT -p icmp --icmp-type echo-request -j ACCEPT iptables -A OUTPUT -p icmp --icmp-type echo-reply -j ACCEPT 或者可以临时停止防火墙操作：

文 / IT创事记 祁萌 中国的云计算服务商巨头在努力做大体量的同时，已经开始将目光投向了传统行业内的TOP方案商；与此同时，方案商也因为意识到了自身不可替代的价值，开始积极拥抱前者。 “有时候特别不好意思，会让很多媒体朋友失望。”正在努力将“东华系”引入云端的薛向东在《 腾讯云 会客厅》中对曾佳欣说，自己是个没有故事的人，既没有大起大落的经历，也没有惊心动魄的故事。 他们分别是东华软件股份公司党委书记、董事长，和 腾讯云 计算公司副总裁。 《 腾讯云 会客厅》是一档专注洞察产业趋势的高端人物对话节目，由 腾讯云 主办。真格基金徐小平、广汽集团董事长曾庆洪、58集团CTO邢宏宇等30余位行业领袖曾作客节目。 在过去的20年间，东华软件全资子公司东华医为科技有限公司（简称东华医为）在全国拥有了近500家签约医疗卫生客户，其中，有300多家三级以上医院。在包括北京协和医院、华西医院在内的全国百强医院中，有超过25%的医院核心业务使用的是东华医为的智慧医院解决方案。 腾讯云 计算公司副总裁 曾佳欣 这里的惊人之处在于，这500家客户至今没有更换过供应商，且无一例外。尽管在to B领域，客户与供应商的关系会相对稳定；但如东华医为这样的“稳定度”，仍足以让业内惊诧。 “在To B领域，客户与供应商的关系会相对稳定，但一定比例的调整也很正常。”曾佳欣说

身为大数据工程师，你还在苦学 Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！刚过去的2020双11，阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”，基于Flink的阿里巴巴实时计算平台简直强·无敌。 最恐怖的是，今年阿里的实时计算峰值达到了破纪录的 每秒40亿条 记录，数据量也达到了惊人的 7TB每秒 ，相当于一秒钟需要读完500万本《新华字典》！ Flink的强悍之处，阿里已屡试不爽！ 01 阿里为何坚定不移地选择Flink？ 大数据起源于批处理，在批处理上，Spark有很深的积 累。为了应对全球大量业务的实时需求，Spark也推出了流计算解决方案——SparkStreaming。但Spark毕竟不是一款纯流式计算引擎，所以在时效性等问题上，始终无法提供极致的流批一体体验。 而后起新秀 Flink 的基本数据模型则是数据流，以及事件(Event)的序列。数据流作为数据的基本模型，可以是 无边界的无限“流” ，即一般意义上的流处理；也可以是 有边界的有限“流” ，也就同时兼顾了批处理。 关于以上，阿里搜索事业部资深搜索专家 蒋晓伟曾谈到 ： Spark和Flink都具有流和批处理能力，但是他们的做法是相反的。Spark Streaming是把流转化成一个个小的批来处理，这种方案的一个问题是我们需要的延迟越低，额外开销占的比例就会越大

身为大数据工程师，你还在苦学 Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！刚过去的2020双11，阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”，基于Flink的阿里巴巴实时计算平台简直强·无敌。 最恐怖的是，阿里当时的实时计算峰值达到了破纪录的 每秒40亿条 记录，数据量也达到了惊人的 7TB每秒 ，相当于一秒钟需要读完500万本《新华字典》！Flink的强悍之处，阿里已屡试不爽！ 01 阿里为何坚定不移地选择Flink？ 大数据起源于批处理，在批处理上，Spark有很深的积 累。为了应对全球大量业务的实时需求，Spark也推出了流计算解决方案——SparkStreaming。但Spark毕竟不是一款纯流式计算引擎，所以在时效性等问题上，始终无法提供极致的流批一体体验。 而后起新秀 Flink 的基本数据模型则是数据流，以及事件(Event)的序列。数据流作为数据的基本模型，可以是 无边界的无限“流” ，即一般意义上的流处理；也可以是 有边界的有限“流” ，也就同时兼顾了批处理。 关于以上，阿里搜索事业部资深搜索专家 蒋晓伟曾谈到 ： Spark和Flink都具有流和批处理能力，但是他们的做法是相反的。Spark Streaming是把流转化成一个个小的批来处理，这种方案的一个问题是我们需要的延迟越低，额外开销占的比例就会越大

云计算从业者有个不成文的条约：国外看AWS，国内看 阿里云 。 怎么个看法？AWS的 re:Invent大会 有6万多人参加， 阿里云 的杭州云栖大会有4万多人参加。这个比例竟与两家巨头的母公司市值出奇一致——亚马逊8千多亿，阿里巴巴5千多亿。 每到深秋入冬时节，全球顶级工程师都聚在拉斯维加斯和杭州进行一场朝圣之旅，汲取两位风向标大佬的思考和灵感。 如果说re:Invent是开发者的天堂，那云栖大会就是创业者的武林，无论是酷科技文化的天堂还是刀光剑影的武林，都为过去5年的云计算划上了一个完整的句号。 上云要趁早、云原生、容器、更大又更小的数据库、全自动DevOps、雾服务器、边缘计算……这些年我们早已被这些熟悉的字眼包围。 接下来马上迈入的2020年将开启下一个五年，两位A姓大佬又给我们带来了什么样的讯号？ 云计算技术下沉：芯片成兵家必争之地 云厂商对算力的需求是无止尽的，尽管服务器市场已经明显转向云厂商，但这阻挡不了云厂商自己搞芯片。毕竟，谁有更强的算力，就掌握了更多的主动权。 AWS在2019 re：Invent大会上推出了基于ARM架构的Graviton2高性能处理器芯片以及机器学习芯片Inferentia，前者比X86实例的性价比高出40%。Graviton一词来自gravity（引力），意味着芯片从过去的幕后走向前台，成为吸引云计算用户的关键作用力。虽有一代芯片发布在前

2015年10月23日， 由北京人大金仓信息技术股份有限公司（以下简称人大金仓）与中国人民大学共同完成的“数据库管理系统核心技术的创新与成果转化”项目荣获“2015年度科技进步奖一等奖”。这是产业各界对人大金仓的认可与肯定，也再次印证了金仓数据库的技术创新性在国产数据库中的翘楚地位。 为了奖励在计算机及相关领域的科学技术进步活动中做出重要先进科技成果，加速我国计算机科学技术的创新和进步，中国计算机学会（简称CCF）特设立“中国计算机学会科学技术奖”，该奖项每年评选一次，由CCF评选和颁发，每年不超过两项。CCF是中国计算机及相关领域的学术团体，旨在推动学术进步和技术成果的应用；进行学术评价，引领学术方向；对在学术和技术方面有突出成就的个人和单位给予认可和表彰。CCF在计算机科技领域和IT业内具备较高的权威，因此，该奖项的评选和颁布受到业内人士的高度关注。 “数据库管理系统核心技术的创新与成果转化”项目由人大金仓和中国人民大学共同完成，在大型数据库的体系架构、智能数据分析、多类型数据支持等方面取得了一系列创新成果，全面提升了金仓数据库的技术水平，支撑国产数据库在国家重大行业核心业务中的应用，经济和社会效益显著。由此，该项目获得了由中国计算机学会颁发的“2015年度科技进步奖一等奖”。 “2015年度科技进步奖一等奖”奖牌 在本次评奖过程中，该项目经过了专家组的多次严格评审筛选

关注我们牛年牛气冲天 每年的1月28日是“国际数据保护日”，亦称“数据隐私保护日”。该节日设置的目的是鼓励人们关注数据隐私，以实际行动保护在线个人信息安全，增强保护意识，了解基本权利，推动数据保护全球公民的责任意识。 在大数据时代，数据已成为国家基础战略资源和创新生产要素，数据的价值得到了广泛认同。一方面，企业投入越来越多的资源保障数据的安全；另一方面，针对数据的违法活动越来越频繁。在数据保护与隐私安全领域，挑战与机遇并存。 2021年1月28日，在又一个“国际数据保护日”到来之际，我们特意邀请了数据保护和数据安全领域十大知名厂商的专家，深入探讨和分析数据保护与数据安全面临的挑战，及应对之道，希望给广大企业和个人以有益的借鉴。 全世界联合起来，数据安全一定要实现！ （以下内容按厂商名称首字母顺序排列，并无前后之分） 陈洁 戴尔科技集团 大中华区数据保护 解决方案部 总经理 网络犯罪已经不仅仅是一场游戏了，黑客和他们的目标之间的关系已经变成了“猫和老鼠”。尽管对于网络安全是一个商业问题还是一个技术问题，人们的看法存在分歧，但抵御勒索软件，避免造成严重后果显然是当务之急。 挑 战 国内外数据保护行业所面临的变化和挑战主要体现在：数据量正在快速增长，数据的价值也在增长；数据中断是一个代价高昂的问题；企业组织正在努力保护他们的数据；云计算正在改变数据保护的格局

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！刚过去的2020双11，阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”，基于Flink的阿里巴巴实时计算平台简直强·无敌。 最恐怖的是，阿里当时的实时计算峰值达到了破纪录的 每秒40亿条 记录，数据量也达到了惊人的 7TB每秒 ，相当于一秒钟需要读完500万本《新华字典》！Flink的强悍之处，阿里已屡试不爽！ 01 阿里为何坚定不移地选择Flink？ 大数据起源于批处理，在批处理上，Spark有很深的积累。为了应对全球大量业务的实时需求，Spark也推出了流计算解决方案——SparkStreaming。但Spark毕竟不是一款纯流式计算引擎，所以在时效性等问题上，始终无法提供极致的流批一体体验。 而后起新秀 Flink 的基本数据模型则是数据流，以及事件(Event)的序列。数据流作为数据的基本模型，可以是 无边界的无限“流” ，即一般意义上的流处理；也可以是 有边界的有限“流” ，也就同时兼顾了批处理。 关于以上，阿里搜索事业部资深搜索专家蒋晓伟曾谈到： Spark和Flink都具有流和批处理能力，但是他们的做法是相反的。Spark Streaming是把流转化成一个个小的批来处理，这种方案的一个问题是我们需要的延迟越低，额外开销占的比例就会越大，这导致了Spark

有人说农产品价格猛涨猛跌，就像小孩子，说哭就哭，说笑就笑，也没个准信，这让农民叫苦连天。 比如，砂糖橘以前卖得火，见到有利可图的农民盲目种植，扩大生产规模，结果导致现在泛滥，砂糖橘价格一路下跌。因为地头收购价过低，有的果农就把几万斤砂糖橘扔在路边，宁愿让其烂掉，也不愿赔本卖货。 有的地方则是因为砂糖橘过剩，果贩看到无利可图，也不上门收购，农民也不知道怎么卖，就只能白种一场。 在砂糖橘成为“坑人橘”的同时，近1-2个月的大葱价格暴涨，涨幅甚至好几倍，气势“葱”天，让消费者大呼吃不起。 大葱之所以价格猛涨，一句话总结就是供不应求，一方面是因为受天气因素影响，大葱减产，另一方面是大葱种植面积比以往减少。 无论是砂糖橘还是大葱价格的猛涨猛跌，其实都是农产品周期性的特征。 也就是说，当某个农产品因为产量少导致价格猛涨后，农民便会闻风而动，大规模种植，导致供大于求，价格猛跌，农民见状又会缩减种植，供不应求又价格猛涨，循环往复。 在这个过程中，处在供应链低端的农民是盲目的，他们往往缺乏专业数据，不会科学种植，掌握的信息远远跟不上市场节奏，也不掌握销售渠道。一旦市场有波动，最终都是农民扛下了雷。 针对农民的痛点，无论是国家还是社会企业都在积极想办法，提供帮助。 由于许多农民缺乏专业的种植技术，缺乏市场化经营管理理念，国家提出要培育一批有文化、懂技术、善经营、会管理的新型职业农民队伍，会从农业补贴

备注：本文是面向数据领域的一篇专业文章，里面有大量的专有术语，阅读完大约需要15分钟左右. 前言，这个数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，文章引用了历史项目&平台规划架构，在这里不做更深入描述。 我是从2000年开始接触数据仓库，大约08年开始进入互联网行业，那时在互联网接触到数据平台与传统第三代数据架构还是有很大的类似之处，随着互联网的突飞猛进，每一次的技术变革都带来一场从技术、架构、业务的渐进式变革，到今天互联网、非互联网的数据平台架构已经差异非常大。 回顾早期的企业环境，企业的生产与服务是一个很长周期，导致业务数据呈现一种粗粒度模式。随着互联网的快速渗透从早期的PC终端到“裆下“的 移动终端，对用户的需求与服务周期将逐渐的缩短，业务量级、数据类型多样化与存储的暴增，对应着技术、架构、业务呈现出迅猛发展，相应的数据沉淀与积累也成指数暴涨。 从”数据仓库“ 词开始到现在的“大数据”，中间经历了太多的知识、架构模式的演进与变革，比如说“数据仓库、海量数据、大数据”等。（备注：数据仓库一般指的是：在相当长的时间内堆积数据，仅仅需要处理大量数据请求中的少部分的系统。数据仓库不等同于“海量数据” 。恰恰相反，而是其子集。海量数据也包含：通过大量的连接提供每秒百万次服务请求的系统。大数据是海量数据+复杂类型数据基础上的大分析、高宽带、大内容）。