Kafka 的重平衛(wèi)機制是指在消費者組中新增或刪除消費者時，Kafka 集群會重新分配主題分區(qū)給各個消費者，以保證每個消費者消費的分區(qū)數(shù)量盡可能均衡。

重平衡機制的目的是實現(xiàn)消費者的負載均衡和高可用性，以確保每個消費者都能夠按照預(yù)期的方式消費到消息。

重平衡的 3 個觸發(fā)條件：

·消費者組成員數(shù)量發(fā)生變化。

·訂閱主題數(shù)量發(fā)生變化。

·訂閱主題的分區(qū)數(shù)發(fā)生變化。

當Kafka 集群要觸發(fā)重平衡機制時，大致的步驟如下：

1.暫停消費：在重平衡開始之前，Kafka 會暫停所有消費者的拉取操作，以確保不會出現(xiàn)重平衡期間的消息丟失或重復(fù)消費。

2.計算分區(qū)分配方案：Kafka 集群會根據(jù)當前消費者組的消費者數(shù)量和主題分區(qū)數(shù)量，計算出每個消費者應(yīng)該分配的分區(qū)列表，以實現(xiàn)分區(qū)的負載均衡。

3.通知消費者：一旦分區(qū)分配方案確定，Kafka 集群會將分配方案發(fā)送給每個消費者，告訴它們需要消費的分區(qū)列表，并請求它們重新加入消費者組。

4.重新分配分區(qū)：在消費者重新加入消費者組后，Kafka 集群會將分區(qū)分配方案應(yīng)用到實際的分區(qū)分配中，重新分配主題分區(qū)給各個消費者。

5.恢復(fù)消費：最后，Kafka 會恢復(fù)所有消費者的拉取操作，允許它們消費分配給自己的分區(qū)。

Kafka 的重平衡機制能夠有效地實現(xiàn)消費者的負載均衡和高可用性，提高消息的處理能力和可靠性。但是，由于重平衡會帶來一定的性能開銷和不確定性，因此在設(shè)計應(yīng)用時需要考慮到重平衡的影響，并采取一些措施來降低重平後白勺頻率率和景向。

在重平衡過程中，所有Consumer 實例都會停止消費，等待重平衡完成。但是目前并沒有什么好的辦法來解決重平衡帶來的STW，只能盡量避免它的發(fā)生。