Serverless

疫情数据背后,聊聊数据分析平台变迁史

早过忘川 提交于 2020-07-27 23:13:05
今年年初这场突如其来的疫情,让我们早晨醒来打开手机的第一件事情,从刷朋友圈变成了刷每日最新的疫情数据。看看国内外新增确诊人数/现存确诊人数,看看国内外疫情分布的地图。各大新闻平台也因为快速上线疫情实时动态板块,成为了大家了解疫情发展的阵地。 其实,在这背后是有着一个海量数据分析的架构平台做支撑。 对于很多企业的管理人员而言,这就是个很熟悉的T+1计算T日的报表场景。管理人员通过报表查看前一天企业的经营情况、库存情况、用户新增/流失情况等,用数据提高决策的准确率,减少误判。 支撑这个典型报表场景的背后,是一整套海量数据计算的大数据架构。根据笔者这几年几十家各行各业企业的交流经验来看,大致都经历了如下几个阶段: 关系型数据库 最初,企业的技术人员通常都是在业务数据库相对空闲的时候(比如:晚上或者凌晨),直接在业务数据库备库进行一些数据分析查询。随着数据量的增多,一份逻辑上相同的数据,通常需要通过分库分表的方式分布在多个业务数据库中。快速分析全量数据且不影响在线业务变成了一件极其复杂的事情。 线下自建Hadoop集群 2004年,Google发布MapReduce论文。2006年,Apache Hadoop项目发布。一些技术走在比较前沿的互联网公司,开始使用Hadoop的分布式处理能力解决数据分析中常见的数据量激增、查询出不了结果等问题。 随后几年

使用 Serverless + 飞书打造你的个性化消息提醒系统

旧城冷巷雨未停 提交于 2020-07-27 22:26:39
一、前言 在日常工作学习生活中,我们可能会遇到以下情形: 自己管理的某台服务器宕机了,但是没有得到及时的提醒,导致业务受到损失 某些自己很想注册的网站悄悄开放注册,但是自己并没有及时得知,于是只能继续漫无目的的等待 …… 如果每件事都花时间去关注,那我们的时间必然会不够用,那有没有什么办法可以让这些消息 集中 起来并且 及时 推送呢?在这里我想向大家推荐一个解决方案,那就是 使用 Serverless + 飞书打造属于自己的个性化消息提醒系统 。 二、准备工作 首先注册一个飞书账号,然后在 飞书网页版 登录 打开 飞书开放平台 ,点击 创建企业自建应用 ,并输入 应用名称 和 应用副标题 ,然后点击 确定创建 在企业自建应用列表中点击刚刚创建成功的应用,并记录 App ID 和 App Secret 二、编写代码 在本地新建一个项目目录,名称随意,这里以 feishu-notify 为例 分别创建 3 个文件: .env , index.py 和 serverless.yml 按如下说明进行编码 .env TENCENT_SECRET_ID=AKID******************************** TENCENT_SECRET_KEY=******************************** 注:这里的 TENCENT_SECRET_ID 和 TENCENT

Dragonfly成为CNCF孵化项目,我们与基金会首位华人TOC聊了聊

醉酒当歌 提交于 2020-07-27 20:55:45
本文转载自开源中国。 推荐阅读: 《重磅 | Dragonfly 晋升成为 CNCF 孵化项目》 4 月 10 日,由云原生计算基金会(CNCF)技术监督委员会投票决议,来自中国的开源项目 Dragonfly 正式晋升为 CNCF 孵化级别的托管项目,成为继 Harbor、TiKV 之后,第三个进入 CNCF 孵化阶段的中国项目。 CNCF 成立于 2015 年 7 月,是 Linux 基金会旗下的重要开源组织之一,围绕微服务、DevOps、持续交付、容器化四大特性,致力于维护和集成云原生相关开源技术,以支持编排容器化微服务架构应用。 目前,CNCF 有会员公司超过 300 家,其中包括 AWS、Azure、Google、阿里云等全球主流的云计算厂商。CNCF 的技术监督委员会由 11 位具有丰富技术知识和行业背景的代表组成,为云原生社区提供技术领导。 在“云”已经成为大众基础设施的今天,云原生被认为是云计算技术的 2.0 标准,而 CNCF 正是引领云原生技术发展的风向标,在业内具有举足轻重的地位。那么 Dragonfly 项目究竟凭何能够跻身 CNCF 孵化项目?其在云原生的技术生态中又扮演着怎样的角色呢?为深入了解 Dragonfly 项目的特性,以及云原生技术在国内的发展现状,我们邀请到了 CNCF 首位华人技术监督委员会委员(TOC)、阿里云资深技术专家李响先生

Serverless 的初心、现状和未来

旧城冷巷雨未停 提交于 2020-07-27 15:10:30
作者 | 不瞋 阿里云高级技术专家 导读: Serverless 是如何产生的?当前有哪些落地场景?Serverless 的未来又将如何?本文分享了阿里云高级技术专家不瞋对于 Serverless 的看法,回顾其发展历程,并对 Serverless 的发展趋势做出预测。 源起 回望整个计算机技术发展史,我们会发现 “抽象、解耦、集成” 的主题贯穿其中。产业每一次的抽象、解耦、集成,都将创新推向新的高度,也催生出庞大的市场和新的商业模式。 大型机时代,硬件和软件都是定制化的,使用专有的硬件、操作系统和应用软件。 PC 时代,硬件被抽象解耦成 CPU、内存、硬盘、主板、USB 设备等标准化的部件,不同厂商生产的部件可以自由组合,组装成整机。软件被抽象解耦为操作系统、库等可复用组件。硬件和软件的抽象解耦,创造了新的商业模式,释放了生产力,造就了 PC 时代的繁荣。 云的时代,硬件软件化和软件服务化成为最显著的两个趋势。 硬件软件化的核心在于硬件功能中越来越多的部分由软件来呈现,从而在迭代效率、成本等方面获得显著优势。以软件定义存储(Software Defined Storage,SDS)为例,SDS 是位于物理存储和数据请求之间的一个软件层,允许用户操控数据的存储方式和存储位置。通过硬件与软件解耦,SDS 可运行于行业标准系统或者 X86 系统上

疫不容迟,值得关注的十大技术趋势(中)

青春壹個敷衍的年華 提交于 2020-07-27 14:51:14
Gartner 最近的一份报告表明, 到 2020 年,全球将有 20% 的企业部署无服务器架构 。这说明无服务器架构不只是一个流行语,更是一种众所周知的云计算趋势,并且已经在软件世界掀起一场革命。大型厂商(如亚马逊、微软和谷歌)已经在无服务器架构领域重资投入,追赶革命的浪潮。 Serverless 已经从观望期走向了落地进程,O'Reilly 近期的一份千人样本的调查显示:超过 40% 受访者已在使用,50% 开发者想要尝试。2020 年 Serverless 的发展将在以下几个方面取得更多进展: 1) Serverless 计算平台的能力有了长足进步,变得更加通用; 2) Serverless 正在从偏离线业务进入在线业 3) Serverless 生态不断发展,在应用构建,安全,监控报警等方面涌现了很多开源项目和创业公司,工具链越来越成熟; 4) 用户对 Serverless 的接受度不断增加,除了互联网等迅速拥抱新技术的行业,传统企业如银行用户也开始采用 Serverless 技术; 5) Java 语言、社区不断努力,试图成为 Serverless 平台的主流语言; 6) 基于 WebAssembly(WASM)的 FaaS 方案有望出现。 虽然前端一直是推陈出新速度最快、开发者最爱抱怨“学不动”的技术领域,但是回顾刚刚过去的 2019 年,多位专家都会这样告诉我们

腾讯T8纯手写66个微服务架构设计模式,全部学会真的“变强”了

被刻印的时光 ゝ 提交于 2020-07-27 14:28:37
微服务的概念虽然直观易懂,但“细节是魔鬼”,微服务在实操落地的环节中存在诸多挑战。我们在为企业提供PaaS、人工智能、云原生平台等数字化转型解决方案时也发现,企业实现云原生,并充分利用PaaS能力的第一步,往往是对已有应用架构进行现代化微服务改造,而如何进行微服务拆分、设计微服务逻辑、实现微服务治理等实操问题成为很大的挑战。 本文既包含了微服务的原理、原则,又包含了实际落地中的架构设计模式;既包含可举一反三的理念和概念,也包含类似领域驱动设计、Saga实现事务操作、CQRS构建事件驱动系统等具体可套用的示例。本书可以帮助读者把传统的单体巨石型应用循序渐进地改造为微服务架构,从微服务的拆分,微服务架构下业务逻辑的设计以及事务、API、 通信等的实现,一直到微服务系统的测试与生产上线,帮助读者建立从无到有的完整微服务系统搭建的生命周期。 书籍优质内容节选 第8章外部APl模式 8.1外部API的设计难题 为了探索与API相关的各种问题,让我们考虑一下FTGO应用程序。如图8-1所示,该应用程序的服务由各种客户端使用。使用服务API的客户端一共有四种: ■Web应用程序,如Consumer web 应用程序一为 消费者实现基于浏览器的用户界面,Restaurant web 应用程序一实 现基于浏览器的餐馆用户界面,以及AdminWeb应用程序一实 现供内部管理员使用的用户界面。

使用 Serverless + 飞书打造你的个性化消息提醒系统

柔情痞子 提交于 2020-07-27 13:11:16
一、前言 在日常工作学习生活中,我们可能会遇到以下情形: 自己管理的某台服务器宕机了,但是没有得到及时的提醒,导致业务受到损失 某些自己很想注册的网站悄悄开放注册,但是自己并没有及时得知,于是只能继续漫无目的的等待 …… 如果每件事都花时间去关注,那我们的时间必然会不够用,那有没有什么办法可以让这些消息 集中 起来并且 及时 推送呢?在这里我想向大家推荐一个解决方案,那就是 使用 Serverless + 飞书打造属于自己的个性化消息提醒系统 。 二、准备工作 首先注册一个飞书账号,然后在 飞书网页版 登录 打开 飞书开放平台 ,点击 创建企业自建应用 ,并输入 应用名称 和 应用副标题 ,然后点击 确定创建 在企业自建应用列表中点击刚刚创建成功的应用,并记录 App ID 和 App Secret 二、编写代码 在本地新建一个项目目录,名称随意,这里以 feishu-notify 为例 分别创建 3 个文件: .env , index.py 和 serverless.yml 按如下说明进行编码 .env TENCENT_SECRET_ID=AKID******************************** TENCENT_SECRET_KEY=******************************** 注:这里的 TENCENT_SECRET_ID 和 TENCENT

使用 serverless 在腾讯云部署第一个函数

筅森魡賤 提交于 2020-07-27 13:10:22
Serverless 是各大云服务商提供出来的一种无服务的计算资源。为什么叫无服务呢,因为如果你使用 serverless ,你只需要关注应用层,而无需关心底层基础设施,无需运维。简而言之, serverless 并不是真的无服务,而是关于有服务的不归你管,云服务商帮你搞定,比如 Google , AWS 或者 TencentCloud 。 关注点分离,好呀好!有了 serverless 以后只需要也只能关心业务了,这也不知是喜是忧。但你也无需过于担心,这是对已有并且成熟的开发模式的挑战,解决痛点有限,因此很多团队对于替换为 serverless 也动力不足。 但是我仍然建议你学习 serverless ,毕竟各大云厂商对于 serverless 有很多免费额度可以让你薅羊毛,对于个人开发者利好。 Serverless Framework serverless 是基于各大云服务商的产品,每一个云厂商对于 serverless 都有一套自己的 API。为了能够兼容这些 API,为了让你的代码 Write Once, Run Everywhere ,于是 serverless framework 诞生了。 通常认为 serverless = faas + baas,然而 serverless framework 只兼容到了 faas,对于 baas,如各家提供的数据存储服务

Alibaba Cloud Native Day | 5 月 30 日杭州场线上直播

≡放荡痞女 提交于 2020-07-27 12:24:17
**Alibaba Cloud Native Day 第二期将于 5 月 30 日全天进行线上直播!**届时,上海越光医疗科技 CTO、原编程之夏学员现 Alibaba Nacos PMC 及五位阿里技术专家齐聚,带来不一样的技术实践视角!通过本场活动,您将了解到: 真实的行业实践:ECI+K8s 在医疗行业的落地; 一线的演进视野:云原生时代消息中间件的演进路线,以及云原生软件供应链安全演进; 第一视角的实操演示:1. 聚焦 Nacos 内核构建;2. 基于 OAM 构建大规模可扩展 PaaS 平台实践;3. Spring Cloud Alibaba 的手把手沙箱试用;4. Serverless 在大规模数据处理的实践。 时间 :5 月 30 日 10:00 - 16:50 地点 :线上直播 ** 报名方式**: https://yqh.aliyun.com/live/CloudNative (点击链接,立即预约直播) 【详细信息看这里】 来源: oschina 链接: https://my.oschina.net/u/3874284/blog/4287031

OpenYurt 开箱测评 | 一键让原生 K8s 集群具备边缘计算能力

假装没事ソ 提交于 2020-07-27 11:23:49
作者| 郑超 阿里云高级开发工程师 随着物联网技术以及 5G 技术的高速发展,将云计算的能力延伸至边缘设备端,并通过中心进行统一交付、管控,已成为云计算的重要发展趋势。为服务更多开发者把握这一趋势,5 月 29 日,阿里巴巴正式对外开源了基于 ACK@Edge(边缘集群托管服务)的云原生边缘计算框架 —— OpenYurt。 自 OpenYurt 开源以来受到了开发者的关注,今天这篇文章将带大家快速上手 OpenYurt ,介绍如何使用 OpenYurt 提供的命令行管理工具 Yurtctl, 高效快速地部署 OpenYurt 集群。 OpenYurt 介绍 **OpenYurt 主打“云边一体化”概念,**依托 Kubernetes 强大的容器应用编排能力,满足了云-边一体化的应用分发、交付、和管控的诉求。相较于其他基于 Kubernetes 的边缘计算框架,OpenYurt 秉持着“最小修改”原则,通过在边缘节点安装 Yurthub 组件,和在云端部署 Yurt-controller-manager,保证了在对 Kubernetes 零侵入的情况下,提供管理边缘计算应用所需的相关能力。OpenYurt 能帮用户解决在海量边、端资源上完成大规模应用交付、运维、管控的问题,并提供中心服务下沉通道,实现和边缘计算应用的无缝对接。在设计 OpenYurt 之初