Apache Dolphinscheduler

關(guān)于

一個分布式易擴展的可視化 DAG 工作流任務(wù)調(diào)度系統(tǒng)。致力于解決數(shù)據(jù)處理流程中錯綜復(fù)雜的依賴關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開箱即用。

DolphinScheduler 的主要特性如下：

• 易于部署，提供四種部署方式，包括Standalone、Cluster、Docker和Kubernetes
• 易于使用，可以通過四種方式創(chuàng)建和管理工作流，包括Web UI、Python SDK和Open API
• 高可靠高可用，多主多從的去中心化架構(gòu)，原生支持橫向擴展
• 高性能，性能比其他編排平臺快N倍，每天可支持千萬級任務(wù)
• Cloud Native，DolphinScheduler支持編排多云/數(shù)據(jù)中心工作流，支持自定義任務(wù)類型
• 對工作流和工作流實例（包括任務(wù)）進行版本控制
• 工作流和任務(wù)的多種狀態(tài)控制，支持隨時暫停/停止/恢復(fù)它們
• 多租戶支持
• 其他如補數(shù)支持（Web UI 原生），包括項目和數(shù)據(jù)源的權(quán)限控制

快速開始

• 如果想要體驗
  • standalone 啟動
  • Docker 啟動
• 想 Kubernetes 部署
  • Kubernetes 部署

系統(tǒng)部分截圖

• 主頁：項目和工作流概覽，包括最新的工作流實例和任務(wù)實例狀態(tài)統(tǒng)計。?

  

• 工作流定義： 通過拖拉拽創(chuàng)建和管理工作流，輕松構(gòu)建和維護復(fù)雜的工作流。?

  

• 工作流樹狀圖： 抽象的樹形結(jié)構(gòu)可以更清晰地理解任務(wù)之間的關(guān)系?

  

• 數(shù)據(jù)源： 支持管理多種外部數(shù)據(jù)源，為MySQL、PostgreSQL、Hive、Trino等，并提供統(tǒng)一的數(shù)據(jù)訪問能力。?

  

• 監(jiān)控：實時查看master、worker和數(shù)據(jù)庫的狀態(tài)，包括服務(wù)器資源使用情況和負載情況，無需登錄服務(wù)器即可快速進行健康檢查。?

  

二開參考：DolphinScheduler分布式調(diào)度系統(tǒng)二開 - 編譯、打包、部署_dolphinscheduler 二次開發(fā)-CSDN博客?