1 簡(jiǎn)介

集群和資源模塊提供動(dòng)態(tài)資源能力，是分布式系統(tǒng)關(guān)鍵基礎(chǔ)設(shè)施，分布式datax，分布式索引，事件引擎都需要集群和資源的彈性資源能力，提高伸縮性和作業(yè)處理能力。本文分析flink的集群和資源的k8s模塊，深入了解其設(shè)計(jì)原理，為開(kāi)發(fā)自有的集群和資源組件做技術(shù)準(zhǔn)備, 同時(shí)涉及作業(yè)管理器，slot pool，但不深入調(diào)度器。

本文分析基于flink 1.17版本，不同版本代碼差異比較大

2 關(guān)鍵詞

作業(yè)管理器

資源管理器

任務(wù)管理器

3 參考資料

flink官方網(wǎng)站 https://flink.apache.org/

4 flink整體架構(gòu)

上圖展示flink整體架構(gòu)，本文分析集群和資源

5 flink運(yùn)行架構(gòu)

運(yùn)行架構(gòu)，按調(diào)用順序展示flink集群?jiǎn)?dòng)，作業(yè)提交處理組件互動(dòng)

總體上，集群是mater-worker架構(gòu)，上圖是flink的抽象架構(gòu)，一個(gè)優(yōu)秀架構(gòu)可以抽象，第六章介紹架構(gòu)”具體” k8s實(shí)現(xiàn)

6 flink@k8s運(yùn)行架構(gòu)