注冊了域名怎么添加到自己的網(wǎng)站快速刷排名seo軟件
Debezium系列之：記錄一次源頭數(shù)據(jù)庫刷數(shù)據(jù)，造成數(shù)據(jù)丟失的原因
- 一、背景
- 二、查看topic日志信息
- 三、結(jié)論
- 四、解決方法
一、背景
-
源頭數(shù)據(jù)庫在很短的時間內(nèi)刷了大量的數(shù)據(jù)，部分?jǐn)?shù)據(jù)在hdfs丟失了
-
理論上debezium數(shù)據(jù)采集不會丟失，就需要排查數(shù)據(jù)鏈路某個節(jié)點是否有數(shù)據(jù)丟失。
-
數(shù)據(jù)鏈路是：debezium——kafka——flume——hdfs
-
根據(jù)經(jīng)驗定位數(shù)據(jù)在kafka側(cè)丟失，下一面進(jìn)一步確認(rèn)是否數(shù)據(jù)在kafka側(cè)丟失
二、查看topic日志信息
Kafka日志信息如下：
[2025-02-20 23:58:21,009] INFO [Log partition