hadoop調(diào)優(yōu)(二)

1 HDFS故障排除

1.1 NameNode故障處理

NameNode進(jìn)程掛了并且存儲(chǔ)數(shù)據(jù)丟失了，如何恢復(fù)NameNode？

如果NameNode進(jìn)程掛掉并且數(shù)據(jù)丟失了，可以利用Secondary NameNode來(lái)恢復(fù)NameNode。Secondary NameNode主要用于備份NameNode的編輯日志和文件系統(tǒng)鏡像，以便在NameNode失敗時(shí)進(jìn)行快速恢復(fù)。

恢復(fù)NameNode的步驟：

1. 停止所有Hadoop進(jìn)程

2. 啟動(dòng)Secondary NameNode

3. 從Secondary NameNode備份的編輯日志和文件系統(tǒng)鏡像中恢復(fù)NameNode元數(shù)據(jù)?？梢允褂靡韵旅顏?lái)執(zhí)行此操作：

   hdfs namenode -recover
   

   該命令將自動(dòng)查找Secondary NameNode備份的編輯日志和文件系統(tǒng)鏡像，并將其應(yīng)用于NameNode，從而恢復(fù)元數(shù)據(jù)。

4. 如果數(shù)據(jù)丟失，需要重新將數(shù)據(jù)復(fù)制到Hadoop集群中。

5. 啟動(dòng)Hadoop進(jìn)程

Secondary NameNode僅備份NameNode的編輯日志和文件系統(tǒng)鏡像，并不是實(shí)時(shí)同步NameNode的狀態(tài)。因此，在使用Secondary NameNode恢復(fù)NameNode時(shí)，可能會(huì)丟失一些最新的數(shù)據(jù)更改。

1.2 安全模式

在安全模式下，HDFS不允許客戶(hù)端執(zhí)行寫(xiě)操作，但可以讀取數(shù)據(jù)。

NameNode會(huì)在以下情況下進(jìn)入安全模式：

1. 第一次啟動(dòng)：當(dāng)NameNode第一次啟動(dòng)時(shí)，它會(huì)進(jìn)入安全模式。這是因?yàn)樵诖藭r(shí)，它需要讀取所有數(shù)據(jù)節(jié)點(diǎn)的信息并建立與它們的通信，以確定整個(gè)HDFS的狀態(tài)。進(jìn)入安全模式可以防止客戶(hù)端對(duì)HDFS進(jìn)行寫(xiě)操作，直到NameNode成功啟動(dòng)并處理所有壞塊。
2. 數(shù)據(jù)節(jié)點(diǎn)數(shù)量過(guò)少：如果數(shù)據(jù)節(jié)點(diǎn)數(shù)量少于NameNode的閾值（默認(rèn)情況下為數(shù)據(jù)節(jié)點(diǎn)數(shù)量的95%），則NameNode會(huì)進(jìn)入安全模式。這種情況可能發(fā)生在添加新數(shù)據(jù)節(jié)點(diǎn)之前，或者因?yàn)楣?jié)點(diǎn)故障而導(dǎo)致節(jié)點(diǎn)數(shù)減少。
3. 數(shù)據(jù)節(jié)點(diǎn)壞塊過(guò)多：如果有太多壞塊（默認(rèn)情況下是1%的數(shù)據(jù)塊），則NameNode會(huì)進(jìn)入安全模式。在這種情況下，HDFS會(huì)自動(dòng)嘗試修復(fù)壞塊，直到壞塊數(shù)量降至可接受水平。

1.2.1數(shù)據(jù)塊損壞，進(jìn)入安全模式，如何處理

1. 使用命令行工具h(yuǎn)dfs fsck來(lái)檢查文件系統(tǒng)，并查看壞塊報(bào)告?？梢允褂脡膲K報(bào)告確定哪些塊需要修復(fù)。
2. 使用命令行工具 hdfs dfsadmin -deleteBlock 命令手動(dòng)刪除壞塊。此命令會(huì)從NameNode元數(shù)據(jù)中刪除壞塊的條目，并在DataNode上刪除對(duì)應(yīng)的數(shù)據(jù)塊。然后，HDFS將自動(dòng)復(fù)制其他副本到相應(yīng)的DataNode上，以保證數(shù)據(jù)的完整性。
3. 如果壞塊的副本數(shù)量不足，可以使用命令行工具 hdfs dfsadmin -fsck 命令手動(dòng)修復(fù)壞塊。此命令會(huì)在DataNode上查找壞塊的副本，并嘗試復(fù)制它們到缺失的DataNode上。可以使用-replace參數(shù)來(lái)指定要替換的DataNode。
4. 如果DataNode上的存儲(chǔ)空間不足，可以使用命令行工具 hdfs balancer 來(lái)移動(dòng)壞塊到其他DataNode上的空閑存儲(chǔ)空間。這將為修復(fù)壞塊提供足夠的空間，并減少未來(lái)發(fā)生類(lèi)似問(wèn)題的可能性。

1.3 慢磁盤(pán)監(jiān)控

當(dāng)某個(gè)節(jié)點(diǎn)的磁盤(pán)出現(xiàn)問(wèn)題，可能會(huì)導(dǎo)致整個(gè)Hadoop集群的性能下降。因此，需要監(jiān)控Hadoop集群中的磁盤(pán)

監(jiān)控hadoop慢磁盤(pán)的方法

1. Hadoop自帶的磁盤(pán)健康檢查工具：Hadoop提供了一個(gè)磁盤(pán)健康檢查工具，可以檢查HDFS上的所有數(shù)據(jù)塊是否可用，以及本地磁盤(pán)是否有故障。可以通過(guò)運(yùn)行以下命令來(lái)運(yùn)行此工具：

   hdfs fsck / -files -blocks -locations
   

2. 進(jìn)行磁盤(pán)性能測(cè)試，可以使用FIO執(zhí)行測(cè)試。測(cè)試會(huì)提供提供磁盤(pán)IOPS和吞吐量等性能指標(biāo)，以便識(shí)別哪些磁盤(pán)出現(xiàn)性能問(wèn)題

1.4 小文件歸檔

解決小文件問(wèn)題的方法

1. 將小文件存儲(chǔ)在單獨(dú)的目錄中：將小文件存儲(chǔ)在單獨(dú)的目錄中可以避免名稱(chēng)節(jié)點(diǎn)的負(fù)載過(guò)重。這樣做可以將小文件分布在多個(gè)目錄中，從而使名稱(chēng)節(jié)點(diǎn)可以更好地管理這些小文件。
2. 使用HBase存儲(chǔ)小文件：HBase是一種分布式的非關(guān)系型數(shù)據(jù)庫(kù)，可以用來(lái)存儲(chǔ)小文件。使用HBase存儲(chǔ)小文件可以提高存儲(chǔ)空間的利用率，因?yàn)樗粫?huì)像HDFS那樣使用大量的元數(shù)據(jù)來(lái)管理小文件。
3. 壓縮小文件：對(duì)小文件進(jìn)行壓縮可以減少磁盤(pán)空間的占用，從而提高存儲(chǔ)空間的利用率。Hadoop提供了多種壓縮小文件的方法，例如使用Gzip、Snappy、LZO等。
4. 使用HDFS的歸檔工具：HAR可以將多個(gè)小文件歸檔成一個(gè)HAR文件。這樣做可以降低名稱(chēng)節(jié)點(diǎn)的負(fù)載，同時(shí)可以提高存儲(chǔ)空間的利用率。

2 MapReduce數(shù)據(jù)傾斜

可能導(dǎo)致MapReduce數(shù)據(jù)傾斜的原因：

1. 在MapReduce中，數(shù)據(jù)分發(fā)是基于key進(jìn)行的，如果某些key的數(shù)據(jù)量很大，而其他key的數(shù)據(jù)量很小，那么就會(huì)出現(xiàn)數(shù)據(jù)傾斜。
2. Mapper問(wèn)題：如果Mapper函數(shù)的實(shí)現(xiàn)不合理，也會(huì)導(dǎo)致數(shù)據(jù)傾斜。比如，某些Mapper函數(shù)在處理某些鍵時(shí)會(huì)產(chǎn)生非常大的中間數(shù)據(jù)集，而其他鍵則產(chǎn)生較小的中間數(shù)據(jù)集。
3. 任務(wù)超時(shí)或失敗：如果某個(gè)Reduce節(jié)點(diǎn)的任務(wù)超時(shí)或失敗，那么這個(gè)節(jié)點(diǎn)上的任務(wù)會(huì)重新啟動(dòng)。這會(huì)導(dǎo)致原本應(yīng)該被其他節(jié)點(diǎn)處理的數(shù)據(jù)被分配到這個(gè)節(jié)點(diǎn)，導(dǎo)致數(shù)據(jù)傾斜。

緩解MapReduce數(shù)據(jù)傾斜的方法：

1. 可以對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，比如對(duì)數(shù)據(jù)進(jìn)行采樣、分桶等操作，以使數(shù)據(jù)更加均衡。
2. 動(dòng)態(tài)地調(diào)整數(shù)據(jù)的分發(fā)方式，以便更好地平衡數(shù)據(jù)負(fù)載。例如，可以使用一些自適應(yīng)的分區(qū)算法，比如SALSA，來(lái)解決數(shù)據(jù)傾斜問(wèn)題。
3. 使用Combiner函數(shù)可以在Mapper階段對(duì)中間結(jié)果進(jìn)行一些合并操作，以減少數(shù)據(jù)的傳輸量，從而減輕Reduce節(jié)點(diǎn)的負(fù)載。
4. 如果Reduce節(jié)點(diǎn)的數(shù)量不足，可以增加Reduce節(jié)點(diǎn)的數(shù)量，以使數(shù)據(jù)更好地分布。
5. 任務(wù)重試機(jī)制：在任務(wù)超時(shí)或失敗時(shí)，可以采用任務(wù)重試機(jī)制，使任務(wù)重新分配到其他節(jié)點(diǎn)上，以減輕負(fù)載