Apache Kafka 是一個(gè)分布式流數(shù)據(jù)平臺，用于高吞吐量、持久性、可擴(kuò)展的發(fā)布和訂閱消息。它具有高度的可靠性，被廣泛用于構(gòu)建實(shí)時(shí)數(shù)據(jù)流處理、日志收集和數(shù)據(jù)管道等應(yīng)用。

基本架構(gòu)

1. 主題（Topic）：

• 主題是消息的邏輯分類
• 生產(chǎn)者將消息發(fā)布到特定的主題中，而消費(fèi)者可以訂閱一個(gè)或多個(gè)主題來接收消息
• 主題可以有多個(gè)分區(qū)，以實(shí)現(xiàn)橫向擴(kuò)展和負(fù)載均衡

2. 分區(qū)（Partition）：

• 分區(qū)是主題的物理存儲單元，將主題分成多個(gè)部分
• 每個(gè)分區(qū)在磁盤上都有一個(gè)日志文件，用于持久性存儲消息
• 每個(gè)主題可以被分為多個(gè)分區(qū)，每個(gè)分區(qū)都是一個(gè)有序的、不可變的消息序列
• 分區(qū)可以分布在不同的 Broker 上，以實(shí)現(xiàn)數(shù)據(jù)的并行處理和負(fù)載均衡

3. 副本（Replica）：

• Kafka 支持副本機(jī)制，每個(gè)分區(qū)可以有多個(gè)副本，其中一個(gè)是領(lǐng)導(dǎo)者（Leader），其余是追隨者（Follower）
• 主副本負(fù)責(zé)處理讀寫請求，而從副本只負(fù)責(zé)復(fù)制主副本的數(shù)據(jù)
• 副本是分區(qū)的備份，用于提供冗余和容錯(cuò)性

4. 生產(chǎn)者（Producer）：