日前，在世界最大的開源基金會?Apache旗下最為活躍的項目之一DolphinScheduler組織的分享活動上，奇富科技的數(shù)據(jù)平臺專家劉坤元應邀為國內(nèi)外技術(shù)工作者獻上一場題為《Apache?DolphinScheduler在奇富科技的優(yōu)化實踐》的精彩分享，為大數(shù)據(jù)任務調(diào)度系統(tǒng)的未來探索出一條新的道路。

?

劉坤元以一個數(shù)倉（數(shù)據(jù)倉庫的簡稱，指用于存儲、分析、報告的數(shù)據(jù)系統(tǒng)）同學熟知的起夜率指標開啟了本次分享。

在建設(shè)大數(shù)據(jù)平臺時，企業(yè)通常會面臨數(shù)據(jù)生產(chǎn)的穩(wěn)定性問題，數(shù)倉同學在值班期間需要處理各種告警和任務。工作通常從凌晨0:30開始，收到首條告警后起床，不斷接到更多電話告警，不得不跑到客廳辦公。由于對上下游任務邏輯不太清楚，2:00左右召集其他同學一起處理問題。凌晨3:00時，驚動老板起夜，電話溝通處理方案。5:00，所有任務處理完成后，等待計算數(shù)據(jù)。7:00睡眼朦朧地起床上班。9:00剛到公司樓下，就被業(yè)務人員在工作群里“+1”“+1”“+10086”地催問數(shù)據(jù)產(chǎn)出時間，手忙腳亂中開始一天的工作。

“可以說，天下數(shù)倉同學苦起夜值班久矣！好消息是，在奇富科技內(nèi)部，由于引入了Apache?DolphinScheduler，起夜率這個核心指標有了83%的下降。”劉坤元說。

談到Apache?DolphinScheduler的引入，劉坤元回顧了奇富科技數(shù)據(jù)平臺工作原本面臨的挑戰(zhàn)。

由于奇富科技是一家金融科技公司，業(yè)務需要保證高可用，所以，奇富科技的調(diào)度平臺是異地雙機房架構(gòu)，核心工作流會異地雙機房運行。這會帶來三點困難。

首先，調(diào)度任務量大。目前每天調(diào)度的工作流實例在3萬多，任務實例在14萬多。每天調(diào)度的任務量非常龐大。每天保障這么多任務實例穩(wěn)定、無延遲運行，是一個非常大的挑戰(zhàn)。

其次，運維復雜。因為每天調(diào)度的任務實例非常多，經(jīng)歷了幾次調(diào)度機器擴容階段。目前2個調(diào)度集群有6臺Master、34臺Worker機器。而且調(diào)度機器處于異地2個城市，增加了很多管理運維復雜性。

第三，SLA要求高。因為要支持的業(yè)務帶有金融屬性，如果調(diào)度服務穩(wěn)定性出問題，導致任務重復調(diào)度、漏調(diào)度或者異常，損失會非常大。

針對以上三個問題，奇富科技在2022年中著手引入了Apache?DolphinScheduler，圍繞調(diào)度服務穩(wěn)定，做了兩個方向的優(yōu)化。第一，調(diào)度服務穩(wěn)定性優(yōu)化。第二、調(diào)度服務監(jiān)控。細節(jié)請見《Apache?DolphinScheduler?在奇富科技的首個調(diào)度異地部署實踐》https://mp.weixin.qq.com/s/hAp7IQPWbhaaVuRsW7LtGg

改造之后的效果，劉坤元也給出了幾個具體表現(xiàn)：

以前1周到半個月才能完成的數(shù)據(jù)需求任務，現(xiàn)在3個小時就可以交付；

每天把不同數(shù)據(jù)源新增200-300T的數(shù)據(jù)，轉(zhuǎn)化為10000張以上的各類報表，三五個同學就游刃有余；

新增診斷功能后，無需人工干預，系統(tǒng)自動生成診斷報告；

……

在分享活動中，奇富科技性能更穩(wěn)定、規(guī)模更大、功能也更加豐富的數(shù)據(jù)系統(tǒng)，也引起了金融機構(gòu)的關(guān)注與興趣。DolphinScheduler提出建議，可以將這一系統(tǒng)產(chǎn)品化并推向市場。

一方面，產(chǎn)品化令金融機構(gòu)能直接受益于奇富科技的經(jīng)驗，提高數(shù)據(jù)生產(chǎn)的穩(wěn)定性，實現(xiàn)更高效的數(shù)據(jù)處理。金融機構(gòu)通常面臨的如調(diào)度任務量大、運維復雜等問題將迎刃而解。

另一方面，奇富科技的經(jīng)驗也將為其他行業(yè)提供有價值的啟示。數(shù)據(jù)調(diào)度是許多行業(yè)都需要面對的問題，因此奇富科技的解決方案不僅局限于金融領(lǐng)域。這有望在各個行業(yè)中推動更多創(chuàng)新和效率提升。

活動最后，DolphinScheduler對奇富科技的創(chuàng)新精神和分享精神給予了極高的贊賞：奇富科技的經(jīng)驗分享不僅促進了技術(shù)進步，還鼓勵了更多公司積極參與開源社區(qū)，從中獲益，推動了整個金融科技領(lǐng)域向前發(fā)展。