1. Controller Broker

Kafka集群中有一個Controller Broker，負(fù)責(zé)元數(shù)據(jù)管理和協(xié)調(diào)。

Kafka使用Zookeeper作為集群元數(shù)據(jù)的存儲和管理工具。Zookeeper保存了集群的狀態(tài)信息，包括所有的Topic、分區(qū)、Leader和副本信息等。

當(dāng)集群狀態(tài)發(fā)生變化時，Controller Broker會將變更信息寫入Zookeeper。

當(dāng)現(xiàn)任Controller Broker發(fā)生故障時，Kafka集群中的其他Broker會檢測到這一情況，并通過Zookeeper進行選舉。

一個Broker成功競選為新的Controller Broker后，會從Zookeeper讀取最新的集群元數(shù)據(jù)。

保障機制

• 持久化元數(shù)據(jù)：Zookeeper持久化存儲集群的元數(shù)據(jù)，確保在任何時刻都可以獲取到最新的狀態(tài)信息。
• 心跳機制：Broker與Zookeeper之間通過心跳機制保持連接，快速檢測Controller Broker的故障。
• 選舉機制：通過Zookeeper的選舉機制，能夠快速選舉出新的Controller Broker，并從Zookeeper同步元數(shù)據(jù)。

2. 組件架構(gòu)

1. Log Manager

LogManager主要負(fù)責(zé)管理Kafka日志（log）的存儲和檢索。

比如：生產(chǎn)者將消息發(fā)送到Partition0的Leader Broker1。LogManager在Broker1上將消息寫入Partition0的日志文件。

2. Replication Manager

ReplicationManager主要負(fù)責(zé)管理分區(qū)數(shù)據(jù)的復(fù)制和同步。

每個分區(qū)的Leader和Follower之間的同步是獨立進行的。也就是說，每個分區(qū)都有自己的同步過程，不依賴于其他分區(qū)。

雖然每個分區(qū)的同步過程是獨立的，但每個Broker會為它所管理的每個分區(qū)（無論是Leader還是Follower）啟動相應(yīng)的復(fù)制線程，這些線程負(fù)責(zé)處理具體的同步任務(wù)。

比如：ReplicationManager在Broker1上將新寫入的消息推送到Partition0的Follower Broker2和Broker3。ReplicationManager在Broker2和Broker3上處理從Broker1接收的復(fù)制請求，將消息寫入它們各自的日志文件。

3. SocketServer

SocketServer是Kafka Broker中的一個組件，負(fù)責(zé)處理網(wǎng)絡(luò)連接和I/O操作。它負(fù)責(zé)接受來自客戶端和其他Broker的連接請求，并為每個連接分配一個線程進行處理。

4. NetworkServer

NetworkServer是Kafka的網(wǎng)絡(luò)通信框架的一個核心部分，負(fù)責(zé)管理和調(diào)度網(wǎng)絡(luò)請求。它使用了NIO（非阻塞I/O）來處理高并發(fā)的網(wǎng)絡(luò)連接。

5. ZKClient

與Zookeeper通信的組件。