舉報(bào)網(wǎng)站賺錢安徽建站
一、目的
在用Flume采集Kafka中的數(shù)據(jù)直接寫入Hive的ODS層靜態(tài)分區(qū)表后,需要刷新表,才能導(dǎo)入分區(qū)和數(shù)據(jù)。原因很簡單,就是Hive表缺乏分區(qū)的元數(shù)據(jù)
二、實(shí)施步驟
(一)問題——在Flume采集Kafka中的數(shù)據(jù)寫入HDFS后,如果不刷新表,則沒有分區(qū)和表數(shù)據(jù)
(二)解決方法——Hive刷新分區(qū)MSCK
hive> MSCK REPAIR TABLE ods_queue2;