網(wǎng)站管理有哪些成人英語培訓(xùn)
1. ISR副本數(shù)量設(shè)置
指的是存活的副本數(shù)量
ISR 機(jī)制的另外一個(gè)相關(guān)參數(shù)是?min.insync.replicas
?, 可以在 broker 或者主題級(jí)別進(jìn)行配置,代表 ISR 列表中至少要有幾個(gè)可用副本。這里假設(shè)設(shè)置為 2,那么當(dāng)可用副本數(shù)量小于該值時(shí),就認(rèn)為整個(gè)分區(qū)處于不可用狀態(tài)。此時(shí)客戶端再向分區(qū)寫入數(shù)據(jù)時(shí)候就會(huì)拋出異常。
org.apache.kafka.common.errors.NotEnoughReplicasExceptoin: Messages are rejected since there are fewer in-sync replicas than required。
?2.?總副本數(shù)量設(shè)置
指的是一個(gè)分區(qū)的總的副本數(shù)量
2.1?新建主題時(shí)指定
Kafka 的主題被分為多個(gè)分區(qū) ,分區(qū)是 Kafka 最基本的存儲(chǔ)單位。每個(gè)分區(qū)可以有多個(gè)副本 (可以在創(chuàng)建主題時(shí)使用? replication-factor
?參數(shù)進(jìn)行指定)。其中一個(gè)副本是首領(lǐng)副本 (Leader replica),所有的事件都直接發(fā)送給首領(lǐng)副本;其他副本是跟隨者副本 (Follower replica),需要通過復(fù)制來保持與首領(lǐng)副本數(shù)據(jù)一致,當(dāng)首領(lǐng)副本不可用時(shí),其中一個(gè)跟隨者副本將成為新首領(lǐng)。
創(chuàng)建副本為2的topic?
kafka-topics --zookeeper mdw:2181/kafka --create --replication-factor 2 --partitions 3 --topic test_topic
查看topic信息
kafka-topics --describe --zookeeper mdw:2181/kafka --topic test_topic輸出:
Topic:test_topic PartitionCount:3 ReplicationFactor:2 Configs:Topic: test_topic Partition: 0 Leader: 364 Replicas: 364 Isr: 364Topic: test_topic Partition: 1 Leader: 365 Replicas: 365 Isr: 365Topic: test_topic Partition: 2 Leader: 366 Replicas: 366 Isr: 366
2.2?通過配置文件配置
server.properties
offsets.topic.replication.factor=2