Flink 架構(gòu)介紹

Flink 是一個分布式流處理和批處理框架，具有高吞吐、低延遲、高可靠等特點。其架構(gòu)主要由以下幾個部分組成：

1. 客戶端（Client）：負責將作業(yè)提交到集群，并與作業(yè)管理器進行交互，獲取作業(yè)的狀態(tài)信息?？蛻舳丝梢允敲钚泄ぞ摺DE 插件或者自定義的應(yīng)用程序。
2. 作業(yè)管理器（JobManager）：負責接收客戶端提交的作業(yè)，協(xié)調(diào)資源分配，調(diào)度任務(wù)執(zhí)行，并監(jiān)控作業(yè)的執(zhí)行狀態(tài)。作業(yè)管理器是 Flink 集群的核心組件，它與任務(wù)管理器進行通信，確保作業(yè)的正確執(zhí)行。
3. 任務(wù)管理器（TaskManager）：負責執(zhí)行具體的任務(wù)，如數(shù)據(jù)處理、計算等。任務(wù)管理器可以運行多個任務(wù)槽（Task Slot），每個任務(wù)槽可以執(zhí)行一個任務(wù)。任務(wù)管理器與作業(yè)管理器進行通信，接收任務(wù)分配，并將任務(wù)的執(zhí)行結(jié)果返回給作業(yè)管理器。
4. 存儲系統(tǒng)：Flink 可以與多種存儲系統(tǒng)進行交互，如 HDFS、S3、本地文件系統(tǒng)等。存儲系統(tǒng)用于存儲作業(yè)的輸入數(shù)據(jù)、中間結(jié)果和輸出數(shù)據(jù)。
5. 通信層