官網(wǎng)下載鏈接：https://kafka.[apache].org/downloads

我下載的是[Scala]2.12 - kafka_2.12-3.1.0.tgz

kafka只需要解壓下載的壓縮包就行了，我這里解壓的路徑是D:\kafka_2.12-3.1.0，kafka的運(yùn)行需要依賴zookeeper，當(dāng)前版本已經(jīng)內(nèi)置了zookeeper，所以不需要再安裝zookeeper。

kafka配置

kafka 服務(wù)端配置在server.properties中。

kafka

• kafka 服務(wù)端配置在server.properties中。

• kafka配置需要修改兩處配置文件：listeners 和 log.dirs

• listeners=PLAINTEXT://localhost:9092

• log.dirs=D:/kafka_2.12-3.1.0/logs

• zookeeper配置

• zookeeper配置文件為zookeeper.properties，只需修改一處，

• dataDir：zookeeper存儲數(shù)據(jù)的路徑

• dataDir=D:/kafka_2.12-3.1.0/data

• 先啟動(dòng)zookeeper，啟動(dòng)命令如下：

• .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

• 啟動(dòng)kafka-server

• .\bin\windows\kafka-server-start.bat .\config\server.properties

• 如果啟動(dòng)kafka失敗，并出現(xiàn)以下異常，刪除logs文件夾下的meta.properties文件即可。

• 啟動(dòng)kafka-topics

• 創(chuàng)建一個(gè)名為test的topic

• .\bin\windows\kafka-topics.bat --create --bootstrap-server ?localhost:2181 --replication-factor 1 --partitions 1 --topic test

• 啟動(dòng)生產(chǎn)者

• 命令如下：

• .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

• 啟動(dòng)消費(fèi)者

• 命令如下：

• .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

啟動(dòng)Kafka服務(wù)

注意：您的本地環(huán)境必須[安裝Java 8]。

• 配置Zookeeper環(huán)境變量

• 配置ZOOKEEPER_HOME：

• 在系統(tǒng)環(huán)境變量Path中，增加“%ZOOKEEPER_HOME%\bin”

• 按： windows+r， 輸入cmd, 打開dos窗口，輸入命令：

• zkServer

• 編輯broker.id=1。 配置broker.id必須是一個(gè)整數(shù)，且不可以和其他的kafak代理節(jié)點(diǎn)的值重復(fù)，即每個(gè)kafka節(jié)點(diǎn)為一個(gè)broker，擁有唯一的id值

集群配置：

• 新生成幾個(gè)配置文件config/server1.properties、config/server2.properties。

• 然后修改里面的配置文件broker.id、 log.dir、 ?listeners分別指定不同的broker、日志文件位置監(jiān)聽端口。

  config/server1.properties:broker.id=1listeners=PLAINTEXT://:8083log.dir= E:/tool/kafka/kafka2.12/kafkaLogs1config/server2.properties:broker.id=2listeners=PLAINTEXT://:8085log.dir= E:/tool/kafka/kafka2.12/kafkaLogs2

啟動(dòng)Kafka

.\bin\windows\kafka-server-start.bat??.\config\server.properties

創(chuàng)建主題

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yantopic

查看現(xiàn)有的主題

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

啟動(dòng)生產(chǎn)者,可以發(fā)送消息：

打開dos窗口，輸入命令：

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

接收消息

窗口不要關(guān)閉,同上新打開一個(gè)shell窗口，輸入命令：

.\bin\windows\kafka-console-consumer.bat?--bootstrap-server?localhost:9092?--topic?test?--from-beginning

如果您的 Nacos 本地啟動(dòng)沒有設(shè)置賬號密碼，那么在 Java 客戶端連接時(shí)也不需要指定賬號和密碼。您可以直接使用不帶認(rèn)證信息的配置連接到 Nacos 服務(wù)。

不過，如果在 Nacos 服務(wù)器中開啟了身份認(rèn)證（默認(rèn)賬戶為 nacos/nacos），那就需要在 Java 客戶端代碼中配置用戶名和密碼。例如，在 NacosConfigProperties 或者客戶端配置中添加賬號信息。

在不需要賬號密碼的情況下，Java 客戶端連接代碼可以保持簡單，例如：

Properties properties = new Properties();
properties.put("serverAddr", "localhost:8848");  // 連接到本地的 Nacos
ConfigService configService = NacosFactory.createConfigService(properties);

kafka map是使用Java11和React開發(fā)的一款kafka可視化工具。

目前支持的功能有：

• 多集群管理

• 集群狀態(tài)監(jiān)控（分區(qū)數(shù)量、副本數(shù)量、存儲大小、offset）

• 主題創(chuàng)建、刪除、擴(kuò)容（刪除需配置delete.topic.enable = true）

• broker狀態(tài)監(jiān)控

• 消費(fèi)者組查看、刪除

• 重置offset

• 消息查詢（支持String和json方式展示）

• 發(fā)送消息（支持向指定的topic和partition發(fā)送字符串消息）

• • 打開 系統(tǒng)屬性 > 高級系統(tǒng)設(shè)置 > 環(huán)境變量。

  • 找到或新建 JAVA_HOME 變量，設(shè)置為 JDK 11 的安裝路徑。

  • 確保系統(tǒng)的 JAVA_HOME 環(huán)境變量指向新安裝的 Java 11 或更高版本的 JDK 目錄。例如，如果你安裝了 Java 11，路徑可能是 C:\Program Files\Java\jdk-11.

  • 在 Windows 中，你可以通過以下步驟設(shè)置環(huán)境變量：

• 更新 PATH 變量：

  • 將 %JAVA_HOME%\bin 添加到 PATH 環(huán)境變量的開頭，以確保命令行和程序優(yōu)先使用 Java 11 的運(yùn)行環(huán)境。

• Nacos 配置文件中缺少對應(yīng)的屬性：application-prod.yml 或其他共享配置文件中沒有定義 sys.datasource.url。

• Nacos 連接不成功：如果 Nacos 連接不成功，Spring Boot 將無法加載遠(yuǎn)程配置文件。

要在 Windows 上啟動(dòng) Kafka Manager（即 Kafka Map）并確保使用指定的 JDK 版本（如 JDK 11），你可以通過以下步驟實(shí)現(xiàn)。

1. 設(shè)置 JDK 11 路徑并切換到 Kafka Manager 目錄

首先，確保 JDK 11 已安裝并記下其安裝目錄路徑（例如：C:\Program Files\Java\jdk-11）。

2. 啟動(dòng) Kafka Manager 并指定 JDK 版本

1. 打開命令提示符：

• 按 Win + R，輸入 cmd 并回車。

設(shè)置 JAVA_HOME： 設(shè)置 JAVA_HOME 環(huán)境變量以指向 JDK 11 路徑。

• set JAVA_HOME=C:\Program Files\Java\jdk-11

• 添加 JDK 11 的 bin 目錄到 PATH： 將 JAVA_HOME\bin 添加到當(dāng)前命令行會話的 PATH 環(huán)境變量中，這樣你就可以確保使用 JDK 11 啟動(dòng) Kafka Manager。

  set PATH=%JAVA_HOME%\bin;%PATH%

• 切換到 Kafka Manager 安裝目錄： 進(jìn)入 Kafka Manager 的安裝目錄，例如 D:\kafka-manager。

  cd D:\kafka-manager

• 啟動(dòng) Kafka Manager： 運(yùn)行以下命令來啟動(dòng) Kafka Manager：

  .\bin\cmak -Dconfig.file=conf/application.conf -Dhttp.port=9000

  • -Dconfig.file=conf/application.conf：指定配置文件路徑。

  • -Dhttp.port=9000：指定 HTTP 端口（可以根據(jù)需要更改端口）。

自動(dòng)安裝必備工具。注意，這也將安裝Chocolatey。安裝完成后，腳本將在一個(gè)新窗口中彈出

在 Windows 中：

如果你通過安裝包安裝了 Yarn，但仍然無法使用它，可以檢查環(huán)境變量是否設(shè)置正確。

1. 打開 系統(tǒng)屬性 → 高級系統(tǒng)設(shè)置 → 環(huán)境變量。

2. 在系統(tǒng)變量中，找到 Path，點(diǎn)擊 編輯。

3. 確保 Yarn 安裝路徑（通常在 C:\Program Files (x86)\Yarn\bin 或 C:\Users<YourName>\AppData\Local\Yarn\bin）已經(jīng)添加到 Path 中。

4. 保存并關(guān)閉所有窗口，重新啟動(dòng)命令提示符。

1. 原因分析

日志中的核心錯(cuò)誤：

1. 文件被占用：

   java.nio.file.FileSystemException: ... 另一個(gè)程序正在使用此文件，進(jìn)程無法訪問。

   表示文件被其他程序占用，Kafka 無法完成操作。

2. 日志目錄失敗：

   ERROR Shutdown broker because all log dirs in D:\software\kafka\logs have failed

   表示 Kafka 的日志目錄不可用，可能由于文件占用、權(quán)限問題或磁盤故障。

啟動(dòng)

1. 啟動(dòng)cassandra，到下載目錄下bin下，cmd，cassandra.bat

2. 啟動(dòng)nacos，到下載目錄下bin下，cmd，startup.cmd -m standalone

3. D盤，啟動(dòng)elasticsearch的bin目錄下，elasticsearch

4. D盤，啟動(dòng)kibana，bin目錄下，kibana.bat

5. zookeeper,D 盤，kafka目錄下

6. .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

7. .\bin\windows\kafka-server-start.bat .\config\server.properties

加群聯(lián)系作者vx：xiaoda0423

倉庫地址：https://github.com/webVueBlog/JavaGuideInterview