云计算

作者丨张瓅玶（谷朴）阿里巴巴研究员 阿里巴巴核心系统作为全球最大规模、峰值性能要求最高的电商交易系统，在 2018 年之前只通过混合云弹性上云方式，为 双11 节约大量成本。直到 2019 年，阿里巴巴实现了核心交易系统全面上云并经历了 双11 峰值的考验。 在今天由极客邦科技举办的 ArchSummit 全球架构师峰会 2019 北京站上，阿里巴巴研究员张瓅玶博士作了主题演讲《阿里巴巴核心系统上云：挑战和架构演进的思考》，以下内容为演讲整理。 核心系统上云之路 工程师时常把我们的系统用飞机来做比喻，乘客则是上面承载的业务。云也是一架这样的载客飞机，作为基础平台承载着千万家企业的业务。今年阿里巴巴实现了核心系统 100% 上云，这个过程实际上走了几年才达到今天的进展，而且这还不是结束，也只是阿里巴巴上云的一个开始。 阿里巴巴集团自身业务体量巨大，支撑其的互联网技术体系任务也非常繁重，再加上核心电商业务系统的复杂度，对技术带来的挑战可想而知。 用王坚博士的话说，核心系统上云让阿里巴巴和客户真正坐上了同一架飞机。从 in-house 的基础设施、定制化的平台能力，到通用的云平台，从 cloud hosting 到 cloud native，这个过程面临着巨大的挑战，同时也是阿里巴巴自身和阿里云的架构演进升级的历程。 阿里巴巴的核心交易系统涉及到包括天猫、淘宝、河马、菜鸟、聚划算、咸鱼

2019中国国际智能产业博览会(以下简称2019智博会)，于2019年8月26日至29日在重庆国际博览中心举行。应智博会组委会邀请，英特尔公司在出席展会并打造了“英特尔智能创新展区”。 英特尔智能创新国际展区依托重庆智博会汇聚顶尖科技创新项目，展示前沿科技应用，打造智能化和多元化的智慧未来场景与社区。 值得注意的是，“英特尔智能创新展区”展示了 EMQ 物联网 MEC 边缘设备接入及管理平台。 EMQ 公司简介 EMQ（杭州映云科技有限公司 www.emqx.io）是为一家面向 5G 和物联网市场的消息与流处理开源软件公司。2013年，EMQ作为开源项目在 Github（https://github.com/emqx）上发布，后续发展成为全球市场广泛应用的开源 MQTT 消息服务器。2017年，在客户需求快速增长的驱动下，公司进入商业化运营并推出 EMQ X 商业产品，以加快开源项目的产品化部署应用，为大型企业客户提供专业技术支持与服务。目前 EMQ X 全球用户超过5000家企业，其中全球500强客户达到数十家。 EMQ MEC 边缘接入解决方案 5G 时代的物联网，MEC（多接入边缘计算）技术是主要的业务承载架构。超低时延与海量设备接入业务场景下，靠近用户与数据的位置实现业务的本地处理的需求越来越明显。如何在用户需求动态出现的边缘快速实现业务接入

作者丨张瓅玶（谷朴）阿里巴巴研究员 阿里巴巴核心系统作为全球最大规模、峰值性能要求最高的电商交易系统，在 2018 年之前只通过混合云弹性上云方式，为 双11 节约大量成本。直到 2019 年，阿里巴巴实现了核心交易系统全面上云并经历了 双11 峰值的考验。 在今天由极客邦科技举办的 ArchSummit 全球架构师峰会 2019 北京站上，阿里巴巴研究员张瓅玶博士作了主题演讲《阿里巴巴核心系统上云：挑战和架构演进的思考》，以下内容为演讲整理。 核心系统上云之路 工程师时常把我们的系统用飞机来做比喻，乘客则是上面承载的业务。云也是一架这样的载客飞机，作为基础平台承载着千万家企业的业务。今年阿里巴巴实现了核心系统 100% 上云，这个过程实际上走了几年才达到今天的进展，而且这还不是结束，也只是阿里巴巴上云的一个开始。 阿里巴巴集团自身业务体量巨大，支撑其的互联网技术体系任务也非常繁重，再加上核心电商业务系统的复杂度，对技术带来的挑战可想而知。 用王坚博士的话说，核心系统上云让阿里巴巴和客户真正坐上了同一架飞机。从 in-house 的基础设施、定制化的平台能力，到通用的云平台，从 cloud hosting 到 cloud native，这个过程面临着巨大的挑战，同时也是阿里巴巴自身和阿里云的架构演进升级的历程。 阿里巴巴的核心交易系统涉及到包括天猫、淘宝、河马、菜鸟、聚划算、咸鱼

在大都数人的潜意识里会认为网盘和同步盘这两者好像是差不多的，都是利用网络在云中心进行备份，前者（网盘）是手动上传和下载本地文件，后者（同步盘）是映象本地文件夹进行上传下载取得同步文件夹内容。这样看来貌似感觉这两者没什么区别。 而且我们也经常性的会听到，使用到网盘，网盘会被大家称呼为网络U盘或是网盘硬盘，简单的就是把资料备份储存到网上云空间。其实网盘是一个广泛的词，网盘还可以划分为：备份网盘、同步网盘。大部分人通常会将“备份网盘”与“同步网盘”混为一谈。 同步网盘 不仅具备网盘功能，其最大的特点为“同步”而非“备份”。同步网盘的意思即，在电脑A里安装软件后，在同步文件夹内的任何文件只要有更新或修改，会被自动上传到云端（不需手动上传），当电脑B也安装此软件时，在电脑A上自动上传到云端的文件会被自动下载到电脑B的同步文件夹中。移动设备也如此。 网盘和同步盘 还是有很大区别的，网盘主要是为了让别人下载文件，放在服务器端，本地可以不放，耗费分享出去的下载流量，其资源消耗大，对下载速度要求高，因此绝大多数网盘都会限制单个文件的大小。 同步盘 主要是自己同步文件，在多台个人用的电脑、手机、手持终端等地方访问，是个人或团队的效率工具，服务器主要是一个备份和提供同步中转的平台，对分享的需求小，对下载速度要求低，但对稳定性要求高，对修改后的文件可以自动同步，文件修改要有历史版本控制

导读 2019 年上半年，中国公有云市场集中度进一步提升，在 IaaS 市场，排名前 10 的厂商目前已占据了超过 90% 的市场份额，呈现出群雄逐鹿的激烈竞争场面。 1998 年 9 月，24 岁的布林和 25 岁的佩奇在一间车库里开启了创建谷歌的征程，由于资金短缺，他们买不起好的硬件设备，只能用一些过时的零件组装成勉强能用的服务器，但这些“垃圾”零件组装起来的服务器显然不会好用，故障经常发生。为此，他们决定写一套完善的容灾软件系统来克服硬件的问题，利用软件将这些成千上万不可靠的硬件组织成一个稳定可靠的 IT 系统。 到 2000 年，他们已经拥有了几千台这样的服务器。于是他们又用网络将这些服务器连接起来，重新设计了一套新型的运算模式来实现高性能运算。这就是现在所说的“云计算”的雏形。那些用网线连起来的几百台破烂服务器，加上容灾软件系统，提供每秒数千次搜索请求服务，就是“云计算”的最早模式。 在此基础上，2002 年亚马逊推出了 AWS 平台，这其实也标志着云计算服务的正式诞生。而 2003~2006 年，Google 发表的关于分布式文件系统（GFS）、并行计算（MapReduce）、数据管理（Big Table）和分布式资源管理（Chubby）的四篇论文，则奠定了云计算发展的基础。 从此，云计算就一发不可收，汹涌澎湃的发展了起来，据全球知名咨询公司 Gartner 预测，到

很早之前，就有关于“每台机器（machine)应该有多少个服务”的讨论。在我们继续之 前，应该找一个比“机器”更好的术语。在前虚拟化时代，单个运行操作系统的主机与底 层物理基础设施之间的映射形式有很多种。因此，我倾向于使用“主机”（host)这个词来 做通用的隔离单元，也就是能够运行服务的一个操作系统。如果你直接在物理机上部署， 那么一台物理机映射到一台主机（在当前上下文中，这个词可能不完全正确，但确实也找 不到更好的了）。如果你使用了虚拟化，单个物理机会映射到多个独立的主机，并且每个 都可以包含一个或者多个服务。 所以在考虑不同的部署模型时，我会使用主机这个词。那么每台主机应该有多少个服 务呢？ 我有自己倾向的模型，但要考虑多个因素，来决定哪个模型最适合你。需要注意的一点 是：某些决定会限制可用的部署方式。 6.9.1单主机多服务 如图6-6所示，在每个主机上部署多个服务是很有吸引力的。首先，从主机管理的角度来 看它更简单。在一个团队管理基础设施，另一个团队管理软件的模式下，管理基础设施团 队的工作量通常与所要管理的主机量成正比。如果单个主机包含更多的服务，那么主机管 理的工作量不会随着服务数量的增加而增加。其次是关于成本。即使你有一个能够提供一 些配置和更改虚拟主机大小等服务的虚拟化平台，虚拟化的基础设施本身也会占用一部分 资源，从而减少服务可用的资源。在我看来

前言 大家做运维普遍经历这样的过程： 首先我们会把操作做一个标准化，这个阶段是运维质量的提升的阶段。 在标准化实施完以后，由于数目的增加，或者是一些运维场景的增多，我们会逐步的进行一些工具化和自动化，这个阶段我们的运维的效率得到提升。 但是众多的工具以及自动化脚本，会让我们的管理过程中比较困难，随着人员的变动或者是一些工具维护过程中的差错，我们的自动化运维工具的受众群体不太稳定。 这个时候我们就需要一个平台将我们的运维工具以及运维过程中的一些经验进行沉淀，借助这个平台实现我们的智能化运维，于是我们从运维人员的需求和体验出发出发进行了一个运维平台产品化的构建。 银行卡组织云运维平台的概况 我给大家介绍一下我们IT体系建设的情况，差不多十年前我们以ITIL为基础构建了流程平台，变更、事件、问题、服务等流程通过这个平台进行流转。 在五年前我们从开放平台转化为云运维平台，在这个过程中，我也建立了IaaS虚拟化资源平台，同时我们也跟业界一样构建了CMDB，用于同意管理运维数据。 但是在运转下来以后，我们发现还有很多需求需要实现，主要三个方面： 软硬件节点数目不断增加，日常运维迫切需要一个适应各种运维场景的高效自动化平台，减少重复劳动。 需求是将运维人员的经验需要在一个平台沉淀，形成一个智能化场景库，将运维服务或能力的复用，从而提高整体运维质量和运维效率。

前言 大家做运维普遍经历这样的过程： 首先我们会把操作做一个标准化，这个阶段是运维质量的提升的阶段。 在标准化实施完以后，由于数目的增加，或者是一些运维场景的增多，我们会逐步的进行一些工具化和自动化，这个阶段我们的运维的效率得到提升。 但是众多的工具以及自动化脚本，会让我们的管理过程中比较困难，随着人员的变动或者是一些工具维护过程中的差错，我们的自动化运维工具的受众群体不太稳定。 这个时候我们就需要一个平台将我们的运维工具以及运维过程中的一些经验进行沉淀，借助这个平台实现我们的智能化运维，于是我们从运维人员的需求和体验出发出发进行了一个运维平台产品化的构建。 银行卡组织云运维平台的概况 我给大家介绍一下我们IT体系建设的情况，差不多十年前我们以ITIL为基础构建了流程平台，变更、事件、问题、服务等流程通过这个平台进行流转。 在五年前我们从开放平台转化为云运维平台，在这个过程中，我也建立了IaaS虚拟化资源平台，同时我们也跟业界一样构建了CMDB，用于同意管理运维数据。 但是在运转下来以后，我们发现还有很多需求需要实现，主要三个方面： 软硬件节点数目不断增加，日常运维迫切需要一个适应各种运维场景的高效自动化平台，减少重复劳动。 需求是将运维人员的经验需要在一个平台沉淀，形成一个智能化场景库，将运维服务或能力的复用，从而提高整体运维质量和运维效率。

更多边缘计算、智能制造内容请关注公号【边缘计算社区】和【智能制造社区】。 亲爱的同学们，端午假期愉快的过去了，粽子也吃了，今天就来说点新鲜的东西吧。 说新鲜，其实也不新鲜了，在十年前就有边缘计算这个名词了，只不过随着物联网的发展，边缘计算被再次拎了出来。 概念 根据名字我们可以猜测一下，边缘计算就是在终端设备附近靠近数据源的一侧进行的本地计算分析。因为靠近终端，我们的计算实时性会更高。 本质上来说，边缘计算和云计算都是为了处理数据的计算问题而诞生的，只是两者实现的方式不同。云计算是把数据集中到一起做计算，而边缘计算是在终端进行计算。那么相比云计算有什么优势呢？ 从图中我们可以看出来，云计算要经过网络来传输所有的数据并做出响应，而边缘计算在边缘设备上处理数据可以及时响应，同时把处理后有价值数据发往云端。 举个栗子 例子数据来自GE官网 现在的无人驾驶汽车，有成百上千个传感器，每驾驶8个小时会产生40TB的数据，这些数据中大多数并不重要，而且把这么大体量的数据传到云端是不切实际的。边缘计算就很好的解决了这个问题，先本地计算，对于重要的计算结果再上传到云端。 从这个栗子里我们能看出来什么呢？ 无人驾驶，要求系统有实时的反应能力，可想而知，如果系统反应不及时，在道路上会造成什么样的后果。所以这里就体现了边缘计算的实时性及必要性。 如此大量的数据，必然包含着大量的无用数据

对于京东云来说，今年11.11年终大促和往年不同。往年的大促，京东云平台根据京东商城、物流、金融的各个不同的业务场景，独立提供符合场景需求的安全解决方案，使用相对应的安全产品进行安全防护。 例如： IP高防 承担网络层攻击防护职责，面对大促大流量DDoS攻击，建立起安全防护堤坝； Web应用防火墙 承担应用层防护职责，面对黑客和羊毛党的狂轰滥炸，建立起业务安全防护网； 主机安全 承担系统层防护职责，面对病毒、木马、蠕虫的渗透，建立起坚固的安全防护堡垒。 “海陆空”三位一体的安全防护加上安全专家团队的7x24小时的全天候监控和响应，为大促“剁手党”们安全流畅的购物体验保驾护航。 今年，从11月1日零时起至11月11日23时59分59秒，“11.11京东全球好物节”累计下单金额超过2044亿元，较2018年11.11实现大幅超越。这也是继今年年中“618十六周年庆”累计下单金额创下2015亿元之后，京东在年末11.11打造的又一实力新主场。 在此次的安全护航行动中，我们又加入了一位 新的“指挥官”-京东云安全大脑 ， 其核心是具备机器学习、实时鉴别、智能编排、自动化联动IP高防、WAF和主机安全能力的态势感知产品。 自2019年10月30日起到2019年11月12日结束，态势感知系统每天分析处理数十TB日志数据，基于威胁情报和关联模型等大数据分析。通过流量防护、主机防护