什么是HDFS

HDFS（Hadoop Distributed File System）是Apache Hadoop的核心組件之一，是一個分布式文件系統(tǒng)，專門設(shè)計用于在大規(guī)模集群上存儲和管理海量數(shù)據(jù)。它的設(shè)計目標(biāo)是提供高吞吐量的數(shù)據(jù)訪問和容錯能力，以支持大數(shù)據(jù)處理任務(wù)。下面是HDFS的主要特性和功能：

1. 架構(gòu)

• 主從架構(gòu)：
  • NameNode：HDFS的主節(jié)點，負責(zé)管理文件系統(tǒng)的元數(shù)據(jù)，如文件和目錄結(jié)構(gòu)、文件塊的位置等。NameNode不存儲實際數(shù)據(jù)，只管理數(shù)據(jù)的元信息。
  • DataNode：HDFS的從節(jié)點，負責(zé)實際存儲數(shù)據(jù)塊。每個文件在HDFS中被分割成多個數(shù)據(jù)塊（默認大小為128MB或256MB），并分布存儲在多個DataNode上。

2. 高容錯性

• 數(shù)據(jù)復(fù)制：HDFS通過將每個數(shù)據(jù)塊復(fù)制多個副本（默認3個副本）來確保數(shù)據(jù)的高可用性和容錯性。如果某個DataNode故障，系統(tǒng)仍可以從其他副本中恢復(fù)數(shù)據(jù)。
• 自動故障恢復(fù)：當(dāng)DataNode宕機時，NameNode會監(jiān)控并自動重新復(fù)制丟失的數(shù)據(jù)塊，以保證數(shù)據(jù)的冗余性。

3. 高吞吐量

• 優(yōu)化讀寫：HDFS針對大文件的存儲和訪問進行了優(yōu)化，適合順序讀寫操作。它不適合頻繁的隨機讀取，因為這種模式會降低性能。
• 流式訪問：HDFS允許數(shù)據(jù)流式訪問，用戶可以在數(shù)據(jù)寫入的同時進行讀取，提高數(shù)據(jù)處理的效率。

4. 可擴展性

• 橫向擴展：HDFS支持通過簡單地添加新的DataNode來擴展存儲容量。這種方式可以靈活應(yīng)對不斷增長的數(shù)據(jù)量。

5. 數(shù)據(jù)完整性

• 校驗和：HDFS對存儲的數(shù)據(jù)塊進行校驗和檢測，以確保數(shù)據(jù)在存儲和傳輸過程中的完整性。如果發(fā)現(xiàn)損壞，系統(tǒng)會自動從其他副本中恢復(fù)數(shù)據(jù)。

6. 接口

• API接口：HDFS提供了一組API，支持Java和其他語言的開發(fā)，方便用戶對文件的讀寫操作。

總結(jié)

HDFS是一個為處理和存儲海量數(shù)據(jù)而設(shè)計的分布式文件系統(tǒng)，具備高容錯性、高吞吐量和可擴展性等優(yōu)點。它通過將數(shù)據(jù)分割成多個塊并在集群中分布存儲，確保了數(shù)據(jù)的高可用性和高性能，成為大數(shù)據(jù)處理的基礎(chǔ)設(shè)施之一。

HDFS的基礎(chǔ)架構(gòu)

1. NameNode主角色

• 功能：作為HDFS的主節(jié)點，負責(zé)管理文件系統(tǒng)的元數(shù)據(jù)，包括文件和目錄的命名空間、文件的屬性、文件塊的位置等。
• 職責(zé)：
  • 元數(shù)據(jù)管理：維護文件系統(tǒng)的結(jié)構(gòu)，跟蹤每個文件的塊及其在DataNode上的位置。
  • 客戶端請求處理：處理來自客戶端的文件操作請求（如創(chuàng)建、刪除、重命名文件等），并相應(yīng)地更新元數(shù)據(jù)。
  • 故障監(jiān)控：監(jiān)控DataNode的健康狀態(tài)，并在發(fā)現(xiàn)故障時采取措施（如重新復(fù)制丟失的塊）。

2. Secondary NameNode輔助角色

• 功能：Secondary NameNode并不是NameNode的備份，而是一個輔助角色，主要用于定期合并NameNode的元數(shù)據(jù)文件，以減小NameNode的內(nèi)存占用和元數(shù)據(jù)文件的大小。
• 職責(zé)：
  • 合并元數(shù)據(jù)：定期從NameNode獲取編輯日志，并將其與文件系統(tǒng)的鏡像文件合并，從而減少NameNode的內(nèi)存使用。
  • 故障恢復(fù)：雖然Secondary NameNode不能替代NameNode，但在NameNode故障時，可以通過它的快照恢復(fù)部分元數(shù)據(jù)。

DataNode 從角色

• 功能：HDFS中的從節(jié)點，負責(zé)存儲實際的數(shù)據(jù)塊。
• 職責(zé)：
  • 數(shù)據(jù)存儲：接收并存儲來自客戶端或其他DataNode的數(shù)據(jù)塊。
  • 心跳信號：定期向NameNode發(fā)送心跳信號，以報告自身的健康狀態(tài)和存儲情況。
  • 數(shù)據(jù)塊復(fù)制：根據(jù)NameNode的指令，執(zhí)行數(shù)據(jù)塊的復(fù)制和刪除操作，以確保數(shù)據(jù)的冗余性和高可用性。

HDFS 設(shè)計原理

HDFS副本塊數(shù)量的配置

在HDFS（Hadoop Distributed File System）中，副本塊數(shù)量的配置是一個重要的參數(shù)，它直接影響數(shù)據(jù)的可靠性和存儲效率。副本塊數(shù)量決定了每個數(shù)據(jù)塊在集群中保存的副本數(shù)量，從而影響到容錯能力和數(shù)據(jù)讀取的性能。

1. 默認副本數(shù)量

• HDFS的默認副本塊數(shù)量通常是3。這意味著每個數(shù)據(jù)塊會在集群中的3個不同的Datanode上存儲副本，以提高數(shù)據(jù)的可用性和容錯性。

2. 配置副本塊數(shù)量

副本塊數(shù)量可以在HDFS的配置文件中進行設(shè)置，主要配置文件為hdfs-site.xml。可以通過以下屬性來修改副本數(shù)量：

<configuration><property><name>dfs.replication</name><value>3</value> <!-- 設(shè)置為所需的副本數(shù)量 --></property>
</configuration>

3. 調(diào)整副本數(shù)量的注意事項

• 高可用性與性能：增加副本數(shù)量可以提高數(shù)據(jù)的可靠性，但也會增加存儲需求和網(wǎng)絡(luò)流量。對于經(jīng)常訪問的數(shù)據(jù)，建議保持較高的副本數(shù)量，而對于不常用的數(shù)據(jù)，可以減少副本數(shù)量。

• 集群規(guī)模：在小規(guī)模集群中，設(shè)置較高的副本數(shù)量可能會導(dǎo)致存儲資源的浪費。反之，在大規(guī)模集群中，可以根據(jù)數(shù)據(jù)的重要性和訪問頻率來調(diào)整。

• 副本的分布：HDFS會智能地在不同的Datanode上存儲副本，以確保負載均衡和容錯性。因此，配置副本數(shù)量時，也要考慮集群的實際節(jié)點數(shù)和分布。

4. 動態(tài)調(diào)整副本數(shù)量

HDFS允許對已經(jīng)存在的文件動態(tài)調(diào)整副本數(shù)量，可以使用以下命令：

復(fù)制代碼

hdfs dfs -setrep -w <replication_factor> /path/to/file

• -w 參數(shù)表示等待操作完成。
• <replication_factor> 是目標(biāo)副本數(shù)量。

假設(shè)我們希望將一個特定文件的副本數(shù)量設(shè)置為2，可以執(zhí)行以下命令：

hdfs dfs -setrep -w 2 /user/hadoop/example.txt

fsck命令查看文件系統(tǒng)狀態(tài)及驗證文件的數(shù)據(jù)副本

fsck（File System Check）命令在HDFS中用于檢查文件系統(tǒng)的狀態(tài)以及驗證文件的數(shù)據(jù)副本。這個命令可以幫助管理員發(fā)現(xiàn)和解決文件系統(tǒng)中的問題，確保數(shù)據(jù)的完整性和可用性。以下是關(guān)于fsck命令的詳細信息：

1. 基本用法

fsck命令的基本語法如下：

hdfs fsck /path/to/directory_or_file

2. 功能和作用

• 檢查文件系統(tǒng)狀態(tài)：fsck命令可以檢查HDFS中指定目錄或文件的狀態(tài)，包括是否存在、是否有損壞的塊、是否有丟失的副本等。

• 驗證副本狀態(tài)：命令會驗證文件的每個塊副本，檢查它們在各個Datanode上的狀態(tài)。這樣可以確保數(shù)據(jù)的完整性和一致性。

3. 常用選項

• -delete：此選項用于刪除文件系統(tǒng)中丟失或損壞的數(shù)據(jù)塊，適用于清理無效數(shù)據(jù)。

• -files：顯示文件的詳細信息。

• -blocks：顯示塊的詳細信息，包括每個塊的副本狀態(tài)。

• -locations：顯示每個塊的副本存儲位置。

4. 示例

以下是使用fsck命令的一些示例：

• 檢查整個文件系統(tǒng)：

  hdfs fsck /

• 檢查特定文件：

  hdfs fsck /user/hadoop/example.txt

• 顯示塊信息：

  hdfs fsck /user/hadoop/example.txt -blocks

• 刪除丟失的塊：

  hdfs fsck / -delete

5. 輸出結(jié)果

fsck命令的輸出結(jié)果通常包含以下信息：

• 文件路徑：被檢查的文件或目錄路徑。
• 文件狀態(tài)：包括是否存在、是否損壞等。
• 塊信息：每個數(shù)據(jù)塊的狀態(tài)、數(shù)量和副本位置。
• 問題總結(jié)：如丟失塊、重復(fù)塊等問題的匯總信息。

NameNode元數(shù)據(jù)

在Hadoop的HDFS（Hadoop Distributed File System）中，NameNode是管理文件系統(tǒng)元數(shù)據(jù)的核心組件。它負責(zé)跟蹤所有文件和目錄的信息，包括文件的名稱、權(quán)限、塊信息、位置等。NameNode使用edits和fsimage兩個重要的概念來完成文件系統(tǒng)的管理和維護。下面詳細解釋它們的作用及其配合關(guān)系：

1. fsimage文件

• 定義：fsimage是一個持久化的文件，包含了HDFS文件系統(tǒng)的所有元數(shù)據(jù)的快照。它記錄了當(dāng)前文件系統(tǒng)的結(jié)構(gòu)，包括文件和目錄的層次結(jié)構(gòu)、塊的信息和它們在數(shù)據(jù)節(jié)點上的位置等。

• 作用：

  • 作為文件系統(tǒng)狀態(tài)的完整備份，可以快速加載文件系統(tǒng)的基本信息。
  • 當(dāng)NameNode啟動時，會讀取這個文件來恢復(fù)文件系統(tǒng)的狀態(tài)。

2. edits文件

• 定義：edits文件是一個事務(wù)日志，記錄了對文件系統(tǒng)元數(shù)據(jù)所做的所有更改操作，如創(chuàng)建文件、刪除文件、修改文件權(quán)限等。每當(dāng)對HDFS進行寫操作時，這些變更會被追加到edits文件中。

• 作用：

  • 記錄所有的操作，可以用于恢復(fù)文件系統(tǒng)的狀態(tài)。
  • 提供了對文件系統(tǒng)變更的追蹤，確保數(shù)據(jù)的一致性。

3. 配合關(guān)系

• 工作流程：

  • NameNode在啟動時會首先加載fsimage文件，以獲取當(dāng)前的文件系統(tǒng)狀態(tài)。
  • 在運行過程中，所有對文件系統(tǒng)的更改（如新文件的創(chuàng)建、文件的刪除等）都會被記錄到edits文件中。
  • 為了保持數(shù)據(jù)一致性，NameNode會定期將edits文件中的更改合并到fsimage中，生成一個新的fsimage文件，這個過程稱為“合并”或“快照”。

• 故障恢復(fù)：

  • 如果NameNode發(fā)生故障或重啟，可以通過先加載fsimage文件來恢復(fù)文件系統(tǒng)的狀態(tài)，然后應(yīng)用edits文件中的所有操作，以恢復(fù)到最新的狀態(tài)。
  • 這種方式確保了即使在故障情況下，文件系統(tǒng)的完整性和一致性也能得到保障。

4.元數(shù)據(jù)合并控制參數(shù)

SecondaryNameNode會通過http從NameNode拉取數(shù)據(jù)（edits和fsimage） 然后合并完成后提供給NameNode使用:

對于元數(shù)據(jù)的合并，是一個定時過程，基于：

dfs.namenode.checkpoint.period，默認3600（秒）即1小時

dfs.namenode.checkpoint.txns，默認1000000，即100W次事務(wù)

只要有一個達到條件就執(zhí)行。 檢查是否達到條件，默認60秒檢查一次，基于： dfs.namenode.checkpoint.check.period，默認60（秒），來決定

5. 總結(jié)

NameNode通過fsimage和edits文件的配合，實現(xiàn)了對整個HDFS文件系統(tǒng)的有效管理和維護。fsimage提供了文件系統(tǒng)的靜態(tài)快照，而edits則記錄了動態(tài)變化。兩者的結(jié)合確保了文件系統(tǒng)在高可用性和可靠性方面的表現(xiàn)，使得HDFS能夠處理大規(guī)模數(shù)據(jù)的存儲與管理。

一鍵啟停腳本

# 一鍵啟動hdfs集群

start-dfs.sh

# 一鍵關(guān)閉hdfs集群

stop-dfs.sh

$HADOOP_HOME/sbin/start-dfs.sh，一鍵啟動HDFS集群

$HADOOP_HOME/sbin/stop-dfs.sh，一鍵關(guān)閉HDFS集群

單獨控制進程的啟停

1. $HADOOP_HOME/sbin/hadoop-daemon.sh，此腳本可以單獨控制所在機器的進程的啟停

用法：hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)

2. $HADOOP_HOME/bin/hdfs，此程序也可以用以單獨控制所在機器的進程的啟停

用法：hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)