網(wǎng)站做友鏈盈利網(wǎng)絡(luò)營銷課程主要講什么內(nèi)容
參考視頻:尚硅谷大數(shù)據(jù)Azkaban 3.x教程(全新發(fā)布)_嗶哩嗶哩_bilibili
Azkaban: 是一個(gè)定時(shí)、批量工作流任務(wù)調(diào)度器(工作流程調(diào)度,定時(shí)調(diào)度)
常見的開源調(diào)度系統(tǒng):
? ? ? ? 簡單單一的任務(wù)調(diào)度: Linux的Crontab
????????復(fù)雜的任務(wù)調(diào)度: Ooize ,Azkaban, Airflow(python寫的), DolphinScheduler
?比較:
? ? ? ? Ooize 相比Azkaban 是一個(gè)重量級的任務(wù)調(diào)度系統(tǒng),功能全面,但配置使用更加復(fù)雜。如果可以不在意某些功能的缺失,輕量級調(diào)度器Azkaban是很不錯(cuò)的選擇
? ? ? ? Ooize : CDH平臺下的平臺調(diào)度器,借助可視化的HUE使用比較友好
? ? ? ? Azkaban:簡單易用
? ? ? ? Airflow : python開發(fā)調(diào)度的,具備一定的python基礎(chǔ)
? ? ? ? DolphinScheduler: 現(xiàn)在比較好的,可視化的操作,比較方便
特點(diǎn):
? ? 1 兼容任何版本的hadoop
? ? 2 易于使用的web用戶界面
? ? 3 簡單的工作流上傳
? ? 4 方便設(shè)置任務(wù)之間的關(guān)系
? ? 5?調(diào)度工作流
? ? 6?模塊化和可插拔的插件機(jī)制
? ? 7?認(rèn)證/授權(quán)
? ? 8?能夠殺死并重新啟動(dòng)工作流
? ? 9?有關(guān)失敗和成功的電子郵件提醒
三個(gè)關(guān)鍵組件
? 1? AzkabanWebServer :
????????是Azkaban工作流系統(tǒng)的主要管理者,作用:用戶認(rèn)證,負(fù)責(zé)project管理,定時(shí)執(zhí)行工作流,跟蹤工作流執(zhí)行進(jìn)度等等
? 2? AzkabanExecutorServer :
????????負(fù)責(zé)具體的工作流的提交、執(zhí)行,他們通過mysql數(shù)據(jù)庫來協(xié)調(diào)任務(wù)的執(zhí)行
? 3? Mysql :
????????存儲大部分執(zhí)行流狀態(tài)等信息
部署:
? ? ? ?1 上傳jar包,解壓
????????????????里面mysql腳本包,excecutor包(集群部署多個(gè)服務(wù)器),web包.
????????????????安裝順序: mysql -> excecutor -> web
? ? ? ? 2 安裝mysql數(shù)據(jù)庫
????????????????刷mysql腳本里的 create-all-sql-3.xxxx.sql 腳本
? ? ? ? 3 修改mysql的配置文件? ? ? ? ? ? ? ??
sudo vim /etc/my.cnf# mysqld下面加一行 , 更改mysql包大小,防止Azkaban連接Mysql阻塞,重啟mysql
max_allowed_packet=1024M# 重啟mysql
sudo systemctl restart mysqld
? ? ? ? 4 配置Executor Server:
? ? ? ? ? ? ? ? 編輯executor解壓包下conf里的?azkaban.properties , 同步其他節(jié)點(diǎn)
vim .../azkaban/azkaban-exec/conf/azkaban.properties# 配置時(shí)區(qū)
default.timezone.id=Asia/Shanghai# webserver的連接
azkaban.webserver.url=http://hadoop102:8081# executor的端口,不配會隨機(jī)值,不便于管理
executor.port=12321# 配置數(shù)據(jù)庫信息
mysql.port=3306
mysql.host=
mysql.database=
mysql.user=
mysql.password=
? ? ? ? ?5 Executor Server啟動(dòng),激活:? ? ? ? ?
# 最好進(jìn)入azkaban/azkaban-exec下執(zhí)行,啟動(dòng)server
# 如果 azkaban-exec 下面出現(xiàn)executor.port文件,說明啟動(dòng)成功?;蛘邤?shù)據(jù)庫表(executors)里查看
bin/start-exec.sh# 激活
curl -G "hadoop102:12321/executor?action=activate" && echojps 查看
? ? ? ? 6 配置 Web Server?
? ? ? ? 編輯 web解壓包下conf的azkaban.properties????????
default.timezone.id=Asia/Shanghai#mysql的數(shù)據(jù)庫信息
mysql...# 集群可不做修改,單機(jī)MininumFreeMemory可能保留的內(nèi)存過多導(dǎo)致無法啟動(dòng),去掉
# StaticRemainingFlowSize 正在排隊(duì)的任務(wù)數(shù)
# MininumFreeMemory 內(nèi)存占用最小保留
# CpuStatus cpu占用情況
azkaban.executorselector.filters=StaticRemainingFlowSize,MininumFreeMemory,CpuStatus
? ? ? ? 7 修改azkaban-users.xml文件 ,用于用戶管理
? ? ? ? 可以不配,默認(rèn)是 azkaban azkaban
vim .../azkaban/azkaban-web/conf/azkaban-users.xml<user password="123456" roles="admin" username="atguigu">
? ? ? ? 8 啟動(dòng)web server
bin/start-web.sh
? ? ? ? 訪問: http://hadoop:8081(/index)? ,并用atguigu登錄
Azkaban內(nèi)置的任務(wù)類型支持:commond,java