Azkaban介绍

半城伤御伤魂 提交于 2019-12-05 02:34:47

Azkaban介绍

Azkaban:批量工作流任务调度器,用于在一个工作流 内以一个特定的顺序运行一组工作和流程。Azkaban 使用 job 配置文件建立任务之间的依赖 关系,并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。支持Shell 脚本程序,Java 程序。

特点

  • 兼容任何版本的 hadoop
  • 易于使用的 Web 用户界面
  • 简单的工作流的上传
  • 方便设置任务之间的关系
  • 调度工作流
  • 模块化和可插拔的插件机制
  • 认证/授权(权限的工作)
  • 能够杀死并重新启动工作流
  • 有关失败和成功的电子邮件提醒

Azkaban 的架构

Azkaban 由三个关键组件构成:

1) AzkabanWebServer:AzkabanWebServer 是整个 Azkaban 工作流系统的主要管理者, 它用户登录认证、负责 project 管理、定时执行工作流、跟踪工作流执行进度等一 系列任务。 2) AzkabanExecutorServer:负责具体的工作流的提交、执行,它们通过 mysql 数据库 来协调任务的执行。 3) 关系型数据库(MySQL):存储大部分执行流状态,AzkabanWebServer 和 AzkabanExecutorServer 都需要访问数据库。

Azkaban下载地址:http://azkaban.github.io/downloads.html

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!