參考視頻：尚硅谷大數(shù)據(jù)Azkaban 3.x教程（全新發(fā)布）_嗶哩嗶哩_bilibili

Azkaban： 是一個(gè)定時(shí)、批量工作流任務(wù)調(diào)度器(工作流程調(diào)度，定時(shí)調(diào)度)

常見的開源調(diào)度系統(tǒng)：

? ? ? ? 簡單單一的任務(wù)調(diào)度： Linux的Crontab

????????復(fù)雜的任務(wù)調(diào)度： Ooize ,Azkaban, Airflow(python寫的), DolphinScheduler

?比較：

? ? ? ? Ooize 相比Azkaban 是一個(gè)重量級的任務(wù)調(diào)度系統(tǒng)，功能全面，但配置使用更加復(fù)雜。如果可以不在意某些功能的缺失，輕量級調(diào)度器Azkaban是很不錯(cuò)的選擇

? ? ? ? Ooize ： CDH平臺下的平臺調(diào)度器，借助可視化的HUE使用比較友好

? ? ? ? Azkaban：簡單易用

? ? ? ? Airflow ： python開發(fā)調(diào)度的，具備一定的python基礎(chǔ)

? ? ? ? DolphinScheduler： 現(xiàn)在比較好的，可視化的操作，比較方便

特點(diǎn)：

? ? 1 兼容任何版本的hadoop

? ? 2 易于使用的web用戶界面

? ? 3 簡單的工作流上傳

? ? 4 方便設(shè)置任務(wù)之間的關(guān)系

? ? 5?調(diào)度工作流

? ? 6?模塊化和可插拔的插件機(jī)制

? ? 7?認(rèn)證/授權(quán)

? ? 8?能夠殺死并重新啟動(dòng)工作流

? ? 9?有關(guān)失敗和成功的電子郵件提醒

三個(gè)關(guān)鍵組件

? 1? AzkabanWebServer :

????????是Azkaban工作流系統(tǒng)的主要管理者，作用：用戶認(rèn)證，負(fù)責(zé)project管理，定時(shí)執(zhí)行工作流，跟蹤工作流執(zhí)行進(jìn)度等等

? 2? AzkabanExecutorServer ：

????????負(fù)責(zé)具體的工作流的提交、執(zhí)行，他們通過mysql數(shù)據(jù)庫來協(xié)調(diào)任務(wù)的執(zhí)行

? 3? Mysql ：

????????存儲大部分執(zhí)行流狀態(tài)等信息

部署：

? ? ? ?1 上傳jar包，解壓

????????????????里面mysql腳本包，excecutor包(集群部署多個(gè)服務(wù)器)，web包.

????????????????安裝順序： mysql -> excecutor -> web

? ? ? ? 2 安裝mysql數(shù)據(jù)庫

????????????????刷mysql腳本里的 create-all-sql-3.xxxx.sql 腳本

? ? ? ? 3 修改mysql的配置文件? ? ? ? ? ? ? ??

sudo vim /etc/my.cnf# mysqld下面加一行 , 更改mysql包大小，防止Azkaban連接Mysql阻塞，重啟mysql
max_allowed_packet=1024M# 重啟mysql
sudo systemctl restart mysqld

? ? ? ? 4 配置Executor Server：

? ? ? ? ? ? ? ? 編輯executor解壓包下conf里的?azkaban.properties , 同步其他節(jié)點(diǎn)

vim .../azkaban/azkaban-exec/conf/azkaban.properties# 配置時(shí)區(qū)
default.timezone.id=Asia/Shanghai# webserver的連接 
azkaban.webserver.url=http://hadoop102:8081# executor的端口,不配會隨機(jī)值，不便于管理
executor.port=12321# 配置數(shù)據(jù)庫信息
mysql.port=3306
mysql.host=
mysql.database=
mysql.user=
mysql.password=

? ? ? ? ?5 Executor Server啟動(dòng)，激活：? ? ? ? ?

# 最好進(jìn)入azkaban/azkaban-exec下執(zhí)行,啟動(dòng)server
# 如果 azkaban-exec 下面出現(xiàn)executor.port文件，說明啟動(dòng)成功?；蛘邤?shù)據(jù)庫表（executors）里查看
bin/start-exec.sh# 激活
curl -G "hadoop102:12321/executor?action=activate" && echojps 查看

? ? ? ? 6 配置 Web Server?

? ? ? ? 編輯 web解壓包下conf的azkaban.properties????????

default.timezone.id=Asia/Shanghai#mysql的數(shù)據(jù)庫信息
mysql...# 集群可不做修改，單機(jī)MininumFreeMemory可能保留的內(nèi)存過多導(dǎo)致無法啟動(dòng)，去掉
# StaticRemainingFlowSize 正在排隊(duì)的任務(wù)數(shù)
# MininumFreeMemory 內(nèi)存占用最小保留
# CpuStatus cpu占用情況
azkaban.executorselector.filters=StaticRemainingFlowSize,MininumFreeMemory,CpuStatus

? ? ? ? 7 修改azkaban-users.xml文件 ，用于用戶管理

? ? ? ? 可以不配，默認(rèn)是 azkaban azkaban

vim .../azkaban/azkaban-web/conf/azkaban-users.xml<user password="123456" roles="admin" username="atguigu">

? ? ? ? 8 啟動(dòng)web server

bin/start-web.sh

? ? ? ? 訪問： http://hadoop:8081(/index)? ,并用atguigu登錄

Azkaban內(nèi)置的任務(wù)類型支持：commond，java