Serverless

云函数 SCF 中如何使用 Layer 实现轻松部署?

故事扮演 提交于 2020-08-19 23:14:53
在使用云函数进行项目开发的时候,当函数数量变多后,经常碰到的一个问题,就是对这些函数的依赖库的管理问题。由于云函数在创建或更新时,需要将函数的业务代码,和依赖库一同打包上传,因此在本地开发时,也经常是将依赖库和业务代码放置在一个文件夹下。 在这种情况下,每个云函数的代码目录下均有一套依赖库代码,而这其中有很多在若干个函数中都是重复的,不但占用了大量的空间,而且管理麻烦,在某些依赖库需要进行升级时,要进入到每个函数项目中去检查依赖关系和升级操作。而另一方面,这些依赖库通常不会有大的变动,但是却需要在每次函数进行更新时,都要和业务代码一同打包上传,导致实际的代码更新可能就一两行,但是需要生成一个十几兆甚至几十兆的包去上传,在网络环境不好的情况下还需要忍受缓慢的上传速度。 腾讯云的 SCF 云函数近期推出的层功能,就是为了这类不经常变动的依赖库或静态文件而准备的产品功能。通过使用层功能来存储及管理依赖库,并在使用时按需与函数进行绑定,就可以实现依赖库的多函数共享,仅需上传一份,就可以在多个要使用到的函数中绑定并引用;通过与云函数绑定的使用方式,也就意味着不需要在云函数的业务代码中再附上相应的依赖库了,可以将业务代码和依赖库分开进行管理和部署,降低云函数每次上传时需要提交的包大小,加快上传更新的速度。 在实际案例介绍前,先介绍一下层的功能点。 层作为一个和云函数独立的资源,有独立的创建

记录一次 Arthas 使用

谁都会走 提交于 2020-08-19 22:56:38
【Arthas 官方社区正在举行征文活动,参加即有奖品拿~ 点击投稿 】 前言 疫情期间,在家办公,每天都是 007,感觉自己已经升级为熊猫特工了,心累,身体疲惫!!! 今天终于有时间休息一下,然后记录一下在家办公期间 Arthas 的简单使用。 下载安装 方式一: 推荐使用 IDEA 插件下载 Cloud Toolkit 来使用 Arthas Cloud Toolkit 是阿里云发布的免费本地 IDE 插件,帮助开发者更高效地开发、测试、诊断并部署应用。通过插件,可以将本地应用一键部署到任意服务器,甚至云端(ECS、EDAS、ACK、ACR 和 小程序云等);并且还内置了 Arthas 诊断、Dubbo工具、Terminal 终端、文件上传、函数计算 和 MySQL 执行器等工具。不仅仅有 IntelliJ IDEA 主流版本,还有 Eclipse、Pycharm、Maven 等其他版本。 方式二: 直接下载 启动:java -jar arthas-boot.jar 这里需要重点说明一下:必须使用和目标进程相同的用户,否则启动不成功。 问题背景 本人前天刚上线一个任务。由于某产品手误,误操作了线上数据,要求帮忙把数据删除了。 这尼玛的真坑啊,明显是坑老子。 还好有先见之明,没次做任务的时候多多少少都会写几个后门工具( 不是为了删库跑路,而是这些后门在特定情况下真能应急使用

腾讯云 Serverless HTTP 服务指南

你。 提交于 2020-08-19 21:57:47
Serverless 是全球流行的应用架构,Serverless 实现了自动伸缩扩容,稳定性好;不需要运维,按运行时间付费,降低了开发成本;门槛降低,让前端工程师有望成为全栈工程师。诸多优点,吸引了云厂商相继布局。 云函数 SCF 是腾讯云 serverless 团队为企业和开发者们提供的无服务器执行环境,目前支持 Java、node.js、PHP、Python、Golang 等多种语言,同时 Serverless 团队也在不断的丰富其组件库,目前已经支持 Node.js 的 Express、Koa、Egg 框架,以及 Python 的 Django 框架等。 更多参见: 产品概述 当用户使用云函数编写自己的业务逻辑时,以 Web 举例,需要通过网关调用接口,开源网关单节点容易宕机,多节点需要创建集群维护成本较高,所以大多数用户会选择腾讯云 API 网关,只需要几行网络请求的代码甚至不需要代码就可以使用,减少了人力成本。 Serverless Http 服务是基于腾讯云 API 网关和云函数的能力,支持 Swagger/OpenAPI 等协议,不需要用户配置,部署完成后,可通过 Dashboard 去查看 API 监控管理,如下图所示,极大的方便了用户快速上线自己的业务逻辑,通过规范的 API 支持内外系统的集成和连接。 对于 Web Service,Serverless HTTP

运维 K8s 集群的管控面

三世轮回 提交于 2020-08-19 19:32:47
作者 | 淮右、临石 **导读:**单 K8s 集群为用户提供了 Namespace 级别的隔离能力,理论上支持不超过 5K Node、15W Pod。多 K8s 集群则解决了单集群的资源隔离、故障隔离难题,打破可支持节点数、Pod 数的限制,但与此同时也带来了集群管理复杂度的上升;尤其在专有云场景中,K8s 工程师不可能像在公有云中一样快速触达客户环境,运维成本被进一步放大。因此如何低成本、高效率、自动化低管理多套 K8s 集群,成为业内普遍难题。 背景 多集群主要应用在如下场景: 1.产品本身需要多集群能力。产品的管控需要部署在 K8s 集群内,同时,该产品还需要提供 K8s 集群给用户使用,从故障隔离、稳定性、安全多重角度考虑,容器服务的管控和业务应该分别部署在不同的集群内; 2.用户在使用 K8s 的时候,也希望具备生产多套集群供不同业务使用,从而进行资源隔离、故障隔离; 3.同一用户可能需要多种类型集群的能力,以边缘计算 IOT 为例,它需要一个定制的边缘 K8s 集群,如果按照普通的独立 K8s 集群来创建,一方面会存在资源浪费,另一方面独立的集群为用户增加了运维的成本。 我们总结了运维 K8s 集群的难点,可以分为两部分: 难点 1:运维 K8s 集群的管控面 如何支持用户一键弹出新的 Kubernetes 集群? 如何升级多个 K8s 集群的版本,当社区重大 CVE

SpringCloud 应用在 Kubernetes 上的最佳实践 — 部署篇(开发部署)

纵饮孤独 提交于 2020-08-19 19:00:19
作者 | 孤弋 阿里云高级技术专家,负责 EDAS 的开发和用户体验优化工作。 导读 :在上一篇文章 《SpringCloud 应用在 Kubernetes 上的云上实践 - 开发篇》 中讲到可以通过两个工具,轻松地将一个 SpringCloud 应用从初始化到本地运行。本篇文章,我们将介绍如何将上一篇文章中提到的应用在云上跑起来。 初始化集群 为了将应用运行在云端,首先我们需要一个 Kubernetes 集群,在 EDAS 中使用 Kubernetes 集群目前最快的方式,是将一个阿里云容器集群中的 Kubernetes 集群( ACK 集群 ),导入到 EDAS 中来。 如果还没有ACK集群的话,您可以通过以下两种方式来创建一个: 直接进入容器服务的控制台进行创建; 如果您已经有一个在云上建好的集群,或者有一个在其他 IDC 或友商中有的集群,也可以在容器服务这边通过“注册已有集群”的方式,导入到容器服务中来。 等到 Kubernetes 集群就绪之后,在 EDAS 上需要进行一次集群“导入”,导入方式如下图所示: 在导入集群时,EDAS 会做以下操作: 初始化 EDAS 的集群控制器和相关资源,主要包含:基于开放云原生应用标准的 OAM Controller、日志采集的 Agent、监控链路中的 Arms 环境信息等;其中大部分控制器运行时不会占用用户集群的资源,而会运行在

深入云原生 AI:基于 Alluxio 数据缓存的大规模深度学习训练性能优化

陌路散爱 提交于 2020-08-19 16:19:36
作者 | 车漾(阿里云高级技术专家)、顾荣(南京大学 副研究员) 导读 :Alluxio 项目诞生于 UC Berkeley AMP 实验室,自开源以来经过 7 年的不断开发迭代,支撑大数据处理场景的数据统一管理和高效缓存功能日趋成熟。然而,随着云原生人工智能(Cloud Native AI)的兴起,灵活的计算存储分离架构大行其道。在此背景下,用户在云上训练大规模深度学习模型引发的数据缓存需求日益旺盛。为此,阿里云容器服务团队与 Alluxio 开源社区和南京大学顾荣老师等人通力合作寻找相关解决方案,当前已经提供 K8s 上运行模型训练数据加速的基础方案,包括容器化部署、生命周期管理以及性能优化(持续中),从而降低数据访问高成本和复杂度,进一步助力云上普惠 AI 模型训练。 AI 训练新趋势:基于 Kubernetes 的云上深度学习 1. 背景介绍 近些年,以深度学习为代表的人工智能技术取得了飞速的发展,正落地应用于各行各业。随着深度学习的广泛应用,众多领域产生了大量强烈的高效便捷训练人工智能模型方面的需求。另外,在云计算时代,以 Docker、Kubernetes 以主的容器及其编排技术在应用服务自动化部署的软件开发运维浪潮中取得了长足的发展。Kubernetes 社区对于 GPU 等加速计算设备资源的支持方兴未艾。鉴于云环境在计算成本和规模扩展方面的优势

阿里云开发校园合伙人七天打卡计划(一)

∥☆過路亽.° 提交于 2020-08-19 13:34:36
@阿里云开发校园合伙人七天打卡计划 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 1.认识Serverless云开发 (8.3) :学习云开发平台的基本概念和操作、团队协同、应用的开发、部署。 2.云函数 (8.4) :函数的基础概念,架构,调用方式、静态文件的托管方式 3.开发Web接口 (8.5):学习使用函数开发 Web 接口、多个函数的同时开发,资源复用 4.服务端渲染(8.6):学习使用函数接入传统 koa 中间件,构建 Web 应用 5.数据库调用 (8.7):学习接入数据库,调用数据存储 6.多媒体托管和支付 (8.10):学习函数的文件多媒体托管和支持能力 7.一体化方案开发实战(8.11):学习和前端(react/vue)代码一起开发的一体化方案 day1 ##云开发平台项目成员管理 1.登录阿里云平台,创建企业团队和相应的人数https://workbench.aliyun.com/ 2.创建一个新应用 3.点击成员管理,添加已有的子账号 4.添加自定义的子账号点击下图中的添加阿里云子账号成员 点击前往创建RAM子账号 5.提交此图打卡 来源: oschina 链接: https://my.oschina.net/u/4414894/blog/4479462

深度解读 OpenYurt:从边缘自治看 YurtHub 的扩展能力

一笑奈何 提交于 2020-08-19 04:32:59
作者 | 新胜 阿里云技术专家 导读: OpenYurt 开源两周以来,以非侵入式的架构设计融合云原生和边缘计算两大领域,引起了不少行业内同学的关注。阿里云推出开源项目 OpenYurt,一方面是把阿里云在云原生边缘计算领域的经验回馈给开源社区,另一方面也希望加速云计算向边缘延伸的进程,并和社区共同探讨未来云原生边缘计算架构的统一标准。为了更好地向社区和用户介绍 OpenYurt,我们特地推出 【深度解读OpenYurt】 系列文章,本文为系列文章的第三篇,一一介绍了 OpenYurt 中组件 YurtHub 的扩展能力。 系列文章推荐: OpenYurt 开箱测评 | 一键让原生 K8s 集群具备边缘计算能力 深度解读 OpenYurt :边缘自治能力设计解析 OpenYurt 介绍 阿里云边缘容器服务上线 1 年后,正式开源了云原生边缘计算解决方案 OpenYurt ,跟其他开源的容器化边缘计算方案的区别在于:OpenYurt 秉持 Extending your native Kubernetes to edge 的理念,对 Kubernetes 系统零修改,并提供一键式转换原生 Kubernetes 为 openyurt,让原生 K8s 集群具备边缘集群能力。 同时随着 OpenYurt 的持续演进,也一定会继续保持如下发展理念: 非侵入式增强 K8s

抢人大战成新赛点,揭秘腾讯云优才计划的背后

旧巷老猫 提交于 2020-08-18 16:36:24
文 | 曾响铃 来源 | 科技向令说(xiangling0815) 由于与互联网科技领域这几年To B产业互联网浪潮碰撞,新基建概念兴起后,业界谈论最多的是,谁家走到了新基建的核心圈子,谁家覆盖的新基建领域更多。 而随着新基建加速推进,另一个少有人关注的问题也冒了出来:人才缺口。 根据《2020年新基建人才报告》数据显示,到2020年底,新基建相关核心技术人才缺口将达420万。 在这种大背景下,作为新基建主要领域之一的云计算也就概莫能外,人才需求急速膨胀,这也迎来云计算巨头们在人才问题上的关注和投入。 不久前, 腾讯云拉上行业权威组织机构,链接高校、生态合作方以及用云企业推出了专业人才培养+就业输出的“优才计划” ,试图为企业解决实际用人需求。 而这类人才队伍建设的动作,对云计算巨头而言既是新基建发展的一种必要,其意义也超出了充实人才队伍这件事本身,带有更多显著的生态价值甚至社会价值。 驱动更多人才项目,已成为云计算新基建的另一个主题 新基建直接造成人才缺口,而对云计算而言,它对人才的需求还有存在自身的特殊性,最终造成云计算企业能够从人才队伍建设的项目中获得更深度的价值。 1、新基建的“后勤保障”,资源之外还有人才队伍 严格来说,人才其实应该算作新基建的“后勤保障”。 新基建要投入大量资金,有政府拉动,在当下,互联网巨头也成为重要的力量

深度解读OpenYurt:从边缘自治看YurtHub的扩展能力

試著忘記壹切 提交于 2020-08-18 15:31:09
作者 | 新胜 阿里云技术专家 导读: OpenYurt 开源两周以来,以非侵入式的架构设计融合云原生和边缘计算两大领域,引起了不少行业内同学的关注。阿里云推出开源项目 OpenYurt,一方面是把阿里云在云原生边缘计算领域的经验回馈给开源社区,另一方面也希望加速云计算向边缘延伸的进程,并和社区共同探讨未来云原生边缘计算架构的统一标准。为了更好地向社区和用户介绍 OpenYurt,我们特地推出 【深度解读OpenYurt】 系列文章,本文为系列文章的第三篇,一一介绍了 OpenYurt 中组件 YurtHub 的扩展能力。 系列文章推荐: OpenYurt 开箱测评 | 一键让原生 K8s 集群具备边缘计算能力 深度解读 OpenYurt :边缘自治能力设计解析 OpenYurt 介绍 阿里云边缘容器服务上线 1 年后,正式开源了云原生边缘计算解决方案 OpenYurt ,跟其他开源的容器化边缘计算方案的区别在于:OpenYurt 秉持 Extending your native Kubernetes to edge 的理念,对 Kubernetes 系统零修改,并提供一键式转换原生 Kubernetes 为 openyurt,让原生 K8s 集群具备边缘集群能力。 同时随着 OpenYurt 的持续演进,也一定会继续保持如下发展理念: 非侵入式增强 K8s