workflow

Github原生CI/CD,初尝Github Actions

帅比萌擦擦* 提交于 2020-12-18 01:17:49
Github 原生 CI/CD,初尝 Github Actions Intro Github 目前已经推出了自己的 CICD 服务 —— Github Actions,而且比微软的 Azure DevOps Pipelines 对开发者来说更友好,使用起来更好用。 Github Actions 核心概念 总体看下来感觉是从 Azure Pipelines 迁移过来的东西,有许多概念和 Azure Pipelines 是类似的,如果你之前用过 azure pipelines,应该很容易上手 Runner 用来跑 cicd build 的服务器 Github Hosted Runner Github 官方提供的 Runner Self-Hosted Runner 用自己的服务器作为 Runner Workflow 定义 CI/CD 的流程,需要执行哪些操作,需要做什么 Workflow 定义 workflow 的配置文件,通常放在项目根目录下的 .github/workflows 文件夹下 Workflow Run 每一次 CI/CD build Event 触发 ci/cd build 的事件,如 push/issue/pr Job 由一系列 Step 组成,Job 可以并行执行也可以串行执行,每一个 Job 都是一个新的环境 Step 对应 Job 执行的每一个步骤 Action

阿里云研究员叔同:Serverless 正当时!

拟墨画扇 提交于 2020-12-12 14:55:08
作者 | 叔同 来源 | Serverless 公众号 导读: Serverless 将开发人员从繁重的手动资源管理和性能优化中解放出来,就像数十年前汇编语言演变到高级语言的过程一样,云计算生产力再一次发生变革。Serverless 的核心价值是什么?阿里云发布了哪些 Serverless 生态产品,各有什么特别之处?阿里云函数计算的表现如何?阿里云研究员叔同将通过本文分享阿里布局 Serverless 的历程和决心。 引言 早在 2009 年,伯克利曾预测云计算将会得到蓬勃发展。近乎无限的云端计算资源,客户无需自建机房,按需要付费成为可能,企业在 IT 方面的投入显著降低,云计算所释放出的技术红利让越来越多的企业客户从云下搬到了云上。 然而,大部分客户在使用云服务时,仍然要面对复杂的运维、较高的闲置资源、无法做到真正按需付费,云计算的优势并未发挥到极致。 2015 年 AWS 推出了 Lambda 服务,2017 年阿里云推出了函数计算 FC,2019 年伯克利再次预测 Serverless 将取代Serverful 计算;由此,Serverless 引发业内的广泛关注。 Serverless 将开发人员从繁重的手动资源管理和性能优化中解放出来,就像数十年前汇编语言演变到高级语言的过程一样,云计算生产力再一次发生变革。与其说 Serverless 是云计算的升华,不如说

Hacker News 简讯 2020-12-04

大憨熊 提交于 2020-12-05 11:08:56
最后更新时间: 2020-12-04 23:00 Netscape and Sun Announce JavaScript (1995) - (archive.org) Netscape和Sun发布JavaScript(1995) 得分:236 | 评论:131 EU pushes for 'right to disconnect' from work at home - (dw.com) 欧盟推动“有权断开在家工作” 得分:86 | 评论:65 Paris to ‘get rid of 70k parking spaces’ - (itsinternational.com) 巴黎将“取消7万个停车位” 得分:18 | 评论:6 Did DeepMind solve protein folding? - (explainthispaper.com) DeepMind解决了蛋白质折叠问题吗? 得分:17 | 评论:7 Time to Say Goodbye to Google Fonts - (wicki.io) 是时候跟谷歌字体说再见了 得分:340 | 评论:229 Pg-shortkey: YouTube-Like Short IDs as Postgres Primary Keys - (github.com/turbo) Pg shortkey

基于 Chaos Mesh® 和 Argo 打造分布式测试平台

℡╲_俬逩灬. 提交于 2020-12-03 08:09:53
不久前我们开源了基于 Kubernetes 的混沌测试工具 Chaos Mesh® ,Chaos Mesh 提供了模拟系统异常状况的能力,但这只是混沌工程中的一环,完整混沌工程核心原则包含了系统稳定状态的定义、提出假设、运行实验以及验证和改进。 本篇文章主要介绍我们是如何在 Chaos Mesh 和 Argo 的基础上打造自己的自动化测试平台 TiPocket (https://github.com/pingcap/tipocket) ,实现完全自动化的混沌测试,构成混沌测试完整闭环。 为什么需要 TiPocket? 为了确保用户的数据安全,我们需要确保给用户提供的每一个 TiDB 版本都已经经过了严格的测试,所以我们为 TiDB 设计了各种异常场景,并实现了数十个测试 Case,所以在我们的 Kubernetes 集群中,可能同时运行着十几个甚至几十个混沌实验,即使我们拥有了 Chaos Mesh 来帮助我们管理错误注入,但这还远不够,我们还需要去管理 TiDB 集群,需要去收集指标,需要去分析结果,同时进行如此多的混沌实验,另一方面,我们还需要对 TiDB 生态中的其他工具进行混沌测试,这是无法想象的,因此,我们开发了 TiPocket 来解放自己。 TiPocket 是一个基于 Kubernetes 和 Chaos Mesh 的完全自动化测试框架 ,目前我们主要使用它用来测试

Airflow教程-使用Airflow实现ETL调度

纵饮孤独 提交于 2020-11-29 11:50:06
一、Airflow是什么 airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Software Foundation 孵化。airflow 将workflow编排为由tasks组成的DAGs(有向无环图),调度器在一组workers上按照指定的依赖关系执行tasks。同时,airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作,并且airflow提供了监控和报警系统。 二、Airflow的核心概念 DAGs:即有向无环图(Directed Acyclic Graph),将所有需要运行的tasks按照依赖关系组织起来,描述的是所有tasks执行的顺序。 Operators:airflow内置了很多operators,如BashOperator 执行一个bash 命令,PythonOperator 调用任意的Python 函数,EmailOperator 用于发送邮件,HTTPOperator 用于发送HTTP请求, SqlOperator 用于执行SQL命令...同时,用户可以自定义Operator,这给用户提供了极大的便利性。可以理解为用户需要的一个操作,是Airflow提供的类 Tasks:Task 是 Operator的一个实例 Task Instance:由于Task会被重复调度

Salesforce之工作流

早过忘川 提交于 2020-11-26 16:23:03
今天,小喵学习了一下 工作流 , 下面是小喵的一些总结,希望对小伙伴们有所帮助! 介绍一下salesforce中什么情况下使用workflow。当你分配许多任务,定期发送电子邮件,记录修改时,可以通过自动配置workflow来完成以上操作而不是手工做这些工作。 一. 工作流的配置 1. 设置->创建->工作流和批准->工作流规则 选择后 我们将会看到一个页面 , 此页面显示已经创建的所有的工作流程。 从描述信息中可以看到工作流的执行流程为,当一条记录满足工作流规则的标准条件时,便自动执行工作流设置的操作. 实践是真理,下面我们就来创建一个工作流.创建一个工作流很简单,仅需要3个步骤 . 第0步: 点击新建规则按钮 第1步: 选择要为哪个对象创建工作流 ,选好之后点击下一步 第2步: 设置工作流的名称以及什么标准条件下才会自动执行此工作流的动作 注意 : 1. 评估条件 : 系统默认情况下选择第三种,即 当这条记录被创建或者被修改情况下校验下方校验规则,如果条件满足,则执行action,其中执行action部分还需要配置time trigger,这点在第三步加以描述。当选中第一种则只有当记录被创建时执行校验,选择第一种则这条记录最多只能执行一次workflow,选择第二种为每次添加或者修改操作时会执行下方校验,如果校验成功,则执行第三步的action

http流量复制工具goreplay

房东的猫 提交于 2020-11-21 11:14:35
场景 一个待测服务,用来处理线上千万量级用户的各式请求; 问题 如果数据交换使用比较简单的xml、json等,可以设计各类case,去覆盖正常、异常的情况,但是如果数据交换格式比较复杂,且服务逻辑也比较复杂,这样的话就需要对代码逻辑非常熟悉才能设计全面的case;但是如果没有足够的时间去熟悉代码逻辑,那怎么能保证各类case都能覆盖到呢? 解决方案 今天介绍一款能快速解决上述问题的工具——goreplay 工具原理 官方介绍: GoReplay is the simplest and safest way to test your app using real traffic before you put it into production. As your application grows, the effort required to test it also grows exponentially. GoReplay offers you the simple idea of reusing your existing traffic for testing, which makes it incredibly powerful. Our state of art technique allows to analyze and record your

Linux信号(Understanding Linux Kernel 3rd)

烈酒焚心 提交于 2020-11-21 06:13:39
总览 产生 内核或应用程序产生,一份简短的信息。 传递 挂起状态 非挂起状态 信号类型 发给进程的信号(所有线程共享) 发给线程的信号 处理者 进程信号是其中一个没有屏蔽这个信号的线程处理。 线程就是指定线程处理。 处理方式 do_signal 处理 创建对应的特定栈帧来处理。 信号处理函数 整个进程中的线程共享。 有默认也有自定义。 需要的信息也可以自定义。 信号的作用 简讯 一份简短的信息。 生产者是内核或进程。 处理者是具体的线程或者是进程组中符合处理条件的线程。 内容 标准的信号就只有一个数字。 32 位的整数,每一位对应一个信号位。 支持实时信号的系统是 64 位,即两个 long . 信号定义 trap -l 用上面的指令罗列出支持的信号。 在编程中一般是宏定义,然后每个宏对应一个数字。 #define SIGHUP 1 #define SIGINT 2 #define SIGQUIT 3 #define SIGILL 4 #define SIGTRAP 5 #define SIGABRT 6 #define SIGIOT 6 #define SIGBUS 7 #define SIGFPE 8 #define SIGKILL 9 #define SIGUSR1 10 #define SIGSEGV 11 #define SIGUSR2 12 #define

首届开源软件供应链峰会,ZStack老王技术论道剑指私有云!

≡放荡痞女 提交于 2020-11-19 23:56:33
十里秦淮乌衣巷,紫金山中梧桐道; 六朝古都金陵城,汤包元宵盐水鸭。 就在“天下文枢”、“东南第一学”之称的南京城,举办了一场开源圈大佬云集的技术论道!以下为您正经播报: 11月14日至15日,开源软件供应链2020峰会在南京成功举办。本次峰会由中国科学院软件研究所、openEuler社区主办,中国科学院软件研究所南京软件研究所承办,来自全国各地的开源软件从业者、企业技术专家、高校及科研机构代表、开源社区代表、学生等300余人现场参会、2.3万余人同步线上参会。 会上重点探讨开源技术前沿话题、开源生态建设与合作、开源发展趋势等内容。在【虚拟化&云原生】分论坛,ZStack核心架构师&性能工程负责人 王为做了题为《开源私有云ZStack的架构设计》的精彩分享,重点介绍了ZStack自研核心开源架构的技术原理和应用。 我国国情决定了很多机构上云转型还需依赖于私有云的建设,而且用户群体非常多样化,部署私有云面临异构环境、缩短上云周期与难度、保证云平台高可用性等各种挑战。只有提供产品化、标准化的私有云,才是满足用户兼容异构、高效及高可用需求的优选上云方案。 一、 私有云面临的挑战有何不同? 从用户侧需求研究来看,用户所需要的理想私有云方案,应具备:简单性、稳定性、可扩展性、灵活性。 1、 简单性 私有云的架构跟公有云是不一样的,它更像一个generic solution,根据客户的通用需求

IDaaS 已经替代传统 IAM 成为企业标配

倖福魔咒の 提交于 2020-11-18 06:29:36
随着企业数字化转型和上云进度的加速,企业信息安全的维度和边界正在变得越来越复杂。身份认证和访问权限管理作为第一道门承载着极为关键的使命。在这样的背景下,传统 IAM 的劣势逐渐暴露:难以保证混合云环境中的访问安全;在内部员工管理和外部用户管理等场景中力不从心;上线新应用和兼容老应用时不够灵活。与此同时,横空出世的 IDaaS 服务由于兼具云的扩展性优势和跨环境的身份识别及权限管理能力,正在取代传统的 IAM 。 IAM 释义 IAM 是 Identity and Access Management 的缩写,即身份认证和访问管理。科技咨询公司 Gartner 对 IAM 的定义是:“让正确的人在正确的时间以正确的理由访问正确的资源。”其核心功能包括: 认证(Authentication)管理 授权(Authorization)管理 账号(Account)管理 审计(Audit)管理 因此传统的 IAM 提供商又被称为 4A 厂商,他们为企业集成现有系统,构建用户管理、身份认证、权限管理、审计整合于一体的集成应用平台。 IDaaS 释义 IDaaS 是 Identity as a Service 的缩写,是由第三方服务商构建并维护的托管式 IAM 服务。 IDaaS 包含传统 IAM 的全部功能,并能为企业带来更多收益: 提升营销和运营效率 加速新业务上线 提升安全性降低网络攻击风险