工作流

Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持，具体如下： 新特性： [ EasyScheduler-79 ] 调度通过token方式对外开放接口，可以通过api进行操作 [ EasyScheduler-138 ] 可以指定任务运行的机器(组) [ EasyScheduler-139 ] 任务流程监控及Master、Worker、Zookeeper运行状态监控 [ EasyScheduler-140 ] 工作流定义—增加流程超时报警 [ EasyScheduler-134 ] 任务类型支持Oracle、CLICKHOUSE、SQLSERVER、IMPALA [ EasyScheduler-136 ] Sql任务节点可以独立选取抄送邮件用户 [ EasyScheduler-141 ] 用户管理—用户可以绑定队列,用户队列级别高于租户队列级别，如果用户队列为空，则寻找租户队列 增强： [ EasyScheduler-154 ] 租户编码允许纯数字或者下划线这种的编码 修复： [ EasyScheduler-135 ] Python任务可以指定python版本 [

Easy Scheduler Release 1.0.3 Easy Scheduler 1.0.3是1.x系列中的第四个版本。 新特性： [ EasyScheduler-254 ] 流程定义删除和批量删除 [ EasyScheduler-347 ] 任务依赖增加“今日” [ EasyScheduler-273 ]sql任务添加title [ EasyScheduler-247 ]API在线文档 [ EasyScheduler-319 ] 单机容错 [ EasyScheduler-253 ] 项目增加流程定义统计和运行流程实例统计 [ EasyScheduler-292 ] 启用SSL的邮箱发送邮件 [ EasyScheduler-77 ] 定时管理、工作流定义添加删除功能 [ EasyScheduler-380 ] 服务监控功能 [ EasyScheduler-380 ] 项目增加流程定义统计和运行流程实例统计 增强： [ EasyScheduler-192 ] 租户删除前可以考虑校验租户和资源 [ EasyScheduler-376 ] 删除实例时候，没有删除对应zookeeper队列里的任务 [ EasyScheduler-185 ] 项目删除工作流定义还存在 [ EasyScheduler-206 ] 优化部署，完善docker化支持 [ EasyScheduler-381

分布式工作流任务调度系统Easy Scheduler正式开源 1、背景 在多位技术小伙伴的努力下，经过近2年的研发迭代、内部业务剥离及重构，也经历一批种子用户试用一段时间后， EasyScheduler 终于迎来了第一个正式开源发布版本 -- 1.0.0 。 相信做过数据处理的伙伴们对开源的调度系统如oozie、azkaban、airflow应该都不陌生，在使用这些调度系统中可能会有这样的体验：比如配置工作流任务不能可视化、任务的运行状态不能实时在线查看、 任务运行时不能暂停、不能支持参数传递、不能补数、不能多租户使用、调度系统不高可用等等问题所烦扰过。 Easy Scheduler 正是在这种背景下应运而生，其目标就是为使调度更加easy，更可以从其中文名“易调度”看出我们的初衷。 2、设计特点 Easy Scheduler 是一个分布式工作流任务调度系统，主要解决数据研发ETL错综复杂的依赖关系所带来的各种问题。 其主要目标如下： 以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态 支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警