azkaban 介绍

Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interface to maintain and track your workflows.

 

azkaban是LinkedIn开源的批量工作流调度器，可以通过编写类似properties的文件，在里面定义工作的顺序和依赖关系。配置好azkaban后将可以通过web ui的方式，来管理和查看追踪工作流。官网https://azkaban.github.io，可以查看具体介绍，它提供了模块化的可插拔机制，支持command、java、hadoop和hive命令，另外它和任何版本的hadoop均兼容。

 

Features

• Compatible with any version of Hadoop
• Easy to use web UI
• Simple web and http workflow uploads
• Project workspaces
• Scheduling of workflows
• Modular and pluginable
• Authentication and Authorization
• Tracking of user actions
• Email alerts on failure and successes
• SLA alerting and auto killing
• Retrying of failed jobs

1) 兼容任何版本的hadoop

 

2) 易于使用的Web用户界面

 

3) 简单的工作流的上传

 

4) 方便设置任务之间的关系

 

5) 调度工作流

 

6) 模块化和可插拔的插件机制

 

7) 认证/授权(权限的工作)

 

8) 能够杀死并重新启动工作流

 

9) 有关失败和成功的电子邮件提醒

 

为什么需要工作流调度系统

1）一个完整的数据分析系统通常都是由大量任务单元组成：

 

shell脚本程序，java程序，mapreduce程序、hive脚本等

 

2）各任务单元之间存在时间先后及前后依赖关系

 

3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

 

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

 

(1) 通过Hadoop先将原始数据上传到HDFS上（HDFS的操作）；

 

(2) 使用MapReduce对原始数据进行清洗（MapReduce的操作）；

 

(3) 将清洗后的数据导入到hive表中（hive的导入操作）；

 

(4) 对Hive中多个表的数据进行JOIN处理，得到一张hive的明细表（创建中间表）；

 

(5) 通过对明细表的统计和分析，得到结果报表信息（hive的查询操作）

 

azkaban主要由三部分组成，协同工作。

 

（1）azkaban web server：提供web ui，可以通过web实现对工作流的创建、执行、追踪等，安装后有单独的文件夹对应web server。

 

（2）azkaban executor server：负责工作流和任务的调度提交，安装后也有单独的文件夹对应executor server。

 

（3）mysql：解压对应的安装压缩文件后，需要执行相应脚本创建多张表，用于保存日志、执行计划和项目相关的信息

 

 

azkaban有三种运行模式。

 

（1）solo server mode：executor server和web server运行在同一个进程里，数据库使用内置的H2数据库，任务量不大的项目可以使用此模式。

 

（2）two server mode：executor server和web server运行在不同的进程里，数据库使用mysql。

 

（3）multiple executor mode： executor server和web server运行在不同的进程里，但是executor server可以有多个。