Serverless

导读： 本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。Serverless是DLI将计算能力服务化和产品化关键技术，与传统IAAS和PAAS技术不同，DLI运用Serverless技术向客户提供了一种高效易用易扩展的计算框架，使得客户更能聚焦业务，避免牵扯集群运维的细枝末节。本文将从以下几点解读Serverless技术： 1. serverless计算简介 2. 云计算架构演进—从IaaS到Serverless 3. Serverless计算应用场景与潜力 4. DLI Serverless 计算 serverless计算简介 图 Serverless与传统云计算比较 无服务器计算（Serverless）是一种新型的云计算范式，在业界也被称为FaaS（函数即服务），它有别于传统的IaaS（基础设施即服务）和PaaS（平台即服务）技术，旨在帮助开发者摆脱减少甚至免去底层基础架构管理上的诸多烦扰。Serverless计算服务允许客户在不构建一个复杂的基础设施的情况下开发，运行和管理应用程序。在2014年10月先由 http:// hook.io 提供给业界，接着AWS推出Lambda，2016年Google Cloud Functions，Microsoft Azure Functions对外提供服务

背景介绍 闲鱼 2014 年成立，到现在的话已经实现了从 0 ~ 千万级 DAU 的跃迁，随着业务的快速发展，业务决策方法紧跟升级。从最原始的经验驱动到更加科学合理的数据驱动。而要做到数据驱动，需要去做大量的数据分析以及大量的数据报表开发。在整个数据分析链路上，存在一些研发痛点： BI资源紧张、响应较慢 SQL 查询速度慢、等待耗时较长 前端与服务端的联调成本较高 数据类型复杂度高，难以直观发现有价值的信息 业务现状 数据分析的现状流程分为三个部分 SQL 开发 应用开发 数据可视化、前台产出分析报告 完成一整个开发流程， 平均耗时要达到 5 天甚至以上 。我们一步一步地来看看，每一个研发节点在现阶段存在的问题，以及能不能去优化和解决它们。 SQL 开发 负责 SQL 开发的同学工种是 BI，由于BI缺乏工程抽象的概念，导致每个数据开发的需求过来的时候，都需要从 0~1 重新开发 SQL 代码，但绝大部分数据分析需求的基本逻辑是相似的，没有可复用性，使整体效率变得特别低。那我能不能在 SQL 的领域增加工程抽象的概念呢？我把 SQL 抽象成一个一个的 原子 SQL ，前台只需要指定原则 SQL 的拼装规则，拼装层对原子 SQL 进行组装得到最终的SQL查询字符串，进而就得到了想要的查询结果，通过这样，重复的 SQL 能被沉淀和复用，大大减少了重复开发的时间成本。另外，因为 SQL

“使用 ACK 容器服务可以帮助我们快速拉起测试环境，利用 PTS 即时高并发流量压测确认系统水位，结合 ARMS 监控，诊断压测过程中的性能瓶颈，最后通过 AHAS 对突发流量和意外场景进行实时限流降级，加上阿里云 团队保驾护航，保证了我们每一次大促活动的系统稳定性和可用性，同时利用 ACK 容器快速弹性扩缩容，节约服务器成本 50% 以上。” ——完美日记技术中台负责人 如果你对美妆产品略知一二，就一定听说过这个号称“国货之光”的品牌——完美日记。虽然完美日记主打的唇膏、唇釉、眼影等彩妆产品的市场竞争十分激烈，它却以惊人的增长速度杀出重围。2019 年仅用 8 个月时间，销量增长了近 50 倍，不但力压美康粉黛等国货同行而且全面赶超 YSL、SK-II 等国际大牌。 要知道，2016 年这个才刚刚诞生的品牌，2017 年才有了天猫旗舰店。而在 2018 年天猫 双11，第一次参与该活动的完美日记 ，仅用 90 分钟即突破 1 亿销售额；从 2019 年 1 月到 4 月，完美日记一直稳居天猫美妆销量第一；到了 2019 年 天猫618，完美日记第一小时就荣登天猫彩妆 Top1。截至 2020 年 4 月， 品牌 SKU 超过 700 个，全网用户粉丝数量超过 2500 万，月曝光量 10 亿 +。 对于一个爆款品牌，尤其是在消费品行业竞争如此激烈的情形下

作者 | 李国强 阿里云资深产品专家 本文整理自《Serverless 技术公开课》。 关注“Serverless”公众号，回复“入门”，即可获取 Serverless 系列文章 PPT。 今天来讲，在 Serverless 这个大领域中，不只有函数计算这一种产品形态和应用类型，而是面向不同的用户群体和使用习惯，都有其各自适用的 Serverless 产品。例如面向函数的函数计算、面向应用的 Serverless 应用引擎、面向容器的 Serverless Kubernetes，用户可以根据自己的使用习惯、使用场景或者应用类型，去选择使用什么样的 Serverless 产品。下面通过本文给大家介绍一下，阿里云都有哪些可供大家选择的 Serverless 产品。 Serverless 产品及分层 众所周知，最早提出 Serverless 的是 AWS，其在 Serverless 领域的旗舰产品是 function compute。同样阿里云也有函数计算的产品，帮助用户构建 Serverless 函数。但 Serverless 不仅仅是函数，如下图所示，其实用户会期望在应用、容器等层面也能够享受到 Serverless 的好处，包括按量付费、极致弹性等，这样也更符合用户原有的使用习惯。 在上图中，大家能够看到，阿里云针对函数、应用和容器都推出了对应的 Serverless 产品

15 位青春洋溢的女团候选成员，百万次全网观众投票，节目播出后迅速霸占热搜前十位..... 在这激动人心的决赛之夜，Tencent Serverless 团队下的云 API 网关产品作为幕后英雄，利用其高并发、高可用的技术特性，支撑了节目投票环节顺利开展，面对全网粉丝狂热打 call 投票，顺利保障小姐姐们 C 位出道！ 不一般的投票 【投票】是一个很简单的功能，但是《创造营》的投票不一样。 《创造营》是直播节目，投票时间非常短。海量全网粉丝将在同一时间瞬时涌入，瞬间的大流量和高并发，对系统的高可用性提出了极高的要求。 《创造营》投票，将产生本届总冠军，是《创造营》决胜之夜的制胜环节，激动人心的时刻。投票系统的任何差池，都会对粉丝心理和节目效果造成重创。 在投票的关键时刻，为了保证女团小姐姐顺利出道，技术小哥哥采用了什么样的技术设计，保证了这种特殊场景下的投票功能高可用呢？ Serverless Serverless 是一种云计算技术的新趋势，一方面它使开发者在构建和运行应用时无需管理服务器等基础设施，将构建应用的成本进一步降低，实现快速迭代、极速部署；同时，Serverless尤其适用于高并发场景，无需预估流量大小，而会根据流量情况自动的进行扩缩容，整个过程无需人工干预；值得一提的是，Serverless 还是按用量付费的模式，避免了无用的资源开销，大大降低了成本。

赛题地址： https://www.datafountain.cn/competitions/468/datasets 0.0846 code： import pandas as pd testA_df = pd.read_csv('../data/evaluation_public.csv') sub = pd.read_csv('../data/submit_example.csv') cpu_mean = testA_df.groupby(['ID'])['CPU_USAGE'].mean() cpu_mean = cpu_mean.reset_index() job_mean = testA_df.groupby(['ID'])['LAUNCHING_JOB_NUMS'].mean() job_mean = job_mean.reset_index() cpu_last = testA_df.groupby(['ID'])['CPU_USAGE'].last() cpu_last = cpu_last.reset_index() job_last = testA_df.groupby(['ID'])['LAUNCHING_JOB_NUMS'].last() job_last = job_last.reset_index() for i in range(1,6): cpui

代码英雄讲述了开发人员、程序员、黑客、极客和开源反叛者如何彻底改变技术前景的真实史诗。 什么是《代码英雄》 代码英雄Command Line Heroes是世界领先的企业开源软件解决方案供应商红帽（Red Hat）精心制作的原创音频播客，讲述开发人员、程序员、黑客、极客和开源反叛者如何彻底改变技术前景的真实史诗。该音频博客邀请到了谷歌、NASA 等重量级企业的众多技术大牛共同讲述开源、操作系统、容器、DevOps、混合云等发展过程中的动人故事。 本文是《 代码英雄 》系列播客 第二季（7）：无服务器 的 音频 脚本。 导语：无服务器Serverless到底意味着什么？当然，总得有服务器存在 —— 构建网络的基本架构不会改变。不过在将服务器交给一小部分人运维之后，开发者们会发生什么变化呢？ 无服务器编程让初学者们可以更加轻松简单地部署自己的应用程序，让工作更有效率，这是它的优点。Andrea Passwater 跟我们分享了抽象底层架构会给我们带来多大的便利。不过凡事必有代价，无服务器化也有很多问题。Rodric Rabbah 解释了无服务器意味着你将部署和回应问题的能力拱手献出 —— 这就是为什么他帮助创建了 Apache OpenWhisk，这是一个开源的无服务环境框架，同时 Himanshu Pant 也来分享了他对于何时应该使用无服务器服务的观点。

最近，O’Reilly 公布了一份关于企业微服务市场现状的数据调研。报告显示，在访问了全球 1,502 名软件工程师、系统和技术架构师、工程师以及决策者后，有 77％ 的组织反馈采用了微服务，其中 92％ 的组织成功使用了微服务。 如果以这份报告为依据，微服务在企业的普及率已接近八成。看起来，企业对微服务的兴趣可能已经接近顶峰。 云原生的基础设施从设计上保证了它是微服务部署的最佳平台，但是也对现有的微服务框架带来了新的挑战 ，在云原生大行其道的今天： 我们对微服务还应该继续投入精力关注吗？ 云原生和微服务之间的关系是什么？ 随着 Serviece Mesh 等技术的不断成熟，微服务的体系和思想会产生怎样的演化？ Spring Cloud、Dubbo 还会继续作为微服务开发框架的继续流行下去吗？ 容器、Kubernetes、ServiceMesh、Serverless 这些云原生时代的主角，会如何助力下一代微服务架构为业务发展赋能？ 这些问题值得每一位技术从业人员去思考，并发现由此带来的企业数字化转型升级新挑战、新机遇。也许有同学会说：“上个阶段微服务架构的问题都还没解决，又来了个‘云原生时代的微服务’，我这从哪儿开始学起啊？” 来，从这儿开始！ 2020 云原生微服务大会 为推动云原生下的微服务技术发展和实践交流，由阿里云主办的首届“云原生微服务大会”将于 2020 年 8 月

缘起 本文来自 Serverless 社区用户「乂乂又又」投稿 我最早接触 Serverless 大概是在 18 年 6 月，那时候我在阿里云的学生机刚好到期，那台机子上我有装宝塔面板，然后在上面只放了一个 Typecho 的个人博客站，好像这台服务器似乎一直都是被我拿来当作虚拟主机用，最多也只是登上宝塔面板清一下内存这样子，所以，在我阿里云一年的学生机到期之后，我就果断选择了放弃续费服务器。从那时起我就变成了一个彻底的 Severlesser。 首先是之前的静态网页的问题，这个解决起来比较简单，随便找一个对象存储或者 pages 服务就可以搞定。 这里我是把自己那些静态网页都放到了 Coding pages 上，除了某些时候某些地区某些运营商的网络访问会不稳定之外，其他的一切都让我觉得 coding 的 pages 服务都是做的非常棒的。 然后是 Typecho 博客问题，这个问题还是比较让人头大的，因为像这种动态的博客系统是很少有 pages 服务支持的，所幸在那个时候 coding 有一个动态 pages 的服务是允许个人发布动态博客的，包括 Wordpress 和 Typecho 之类，只可惜现在 coding 已经把动态 pages 的服务给去掉了，而我的之前放在 coding 上的动态博客现在也已经被归档了。 我也错过了 cloud studio 升级的提醒通知

本文介绍如何基于各种云服务优雅且低成本地搭建个人网站，涉及的云产品有云服务器、SSL、企业邮箱、对象存储、CDN、云函数、API网关、云监控等。 概述 如今云服务提供商们提供了大量涵盖计算、网络、存储等方面的云服务，其中一些云产品功能强大，如果能善加利用可以大幅降低开发和运维的成本。下面以基于 腾讯云 搭建的个人网站为例，对网站整体的架构进行介绍。 网站目前的主要功能是 个人博客 ，后续可以扩展如个人网盘等其他应用。当前架构图如下： 一、基础设施 1.云服务器CVM 云服务器使用的是 CVM ，1核2G，下行带宽1Mbps，这个配置用来搭建起步阶段的个人博客是完全够用了，购买学生机或者在活动时购买价格也比较便宜。 有了服务器资源就可以开始博客搭建，我选的博客系统是极简主义的 Typecho ，安装过程可以参考这篇 博文 ，主要是在服务器上安装nginx、mysql、php以及typecho的源码。 2.域名 注册 - 备案 - 解析 服务器创建后同时会分配一个公网ip，但是为了便于分享和传播，建议进行 域名注册 。注册后需要进行备案，现在的备案流程也已经简化为在小程序上操作，省去了原有的幕布拍照环节，前后大概1-2周时间就可以完成备案。之后在控制台进行域名解析，即绑定域名和服务器ip，注意对带或不带www前缀的域名都要进行解析，完成解析后就可以在浏览器通过域名来访问网页了。