實驗二：?Hadoop安裝和使用

一、實驗目的

1. 實現(xiàn)hadoop的環(huán)境搭建和安裝
2. Hadoop的簡單使用；

二、實驗平臺

1. 操作系統(tǒng)：Linux（建議Ubuntu16.04或者18.04）；
2. Hadoop版本：3.1.3；
3. JDK版本：1.8。

安裝參考教程：https://dblab.xmu.edu.cn/blog/2441/

三、實驗步驟

（一）新建一個用戶，用戶名自定義，并給新建的用戶添加管理員權(quán)限，后面的操作均在新建用戶下操作

（二）安裝準備

(1)SSH服務端安裝和免密登錄設(shè)置

1.1安裝SSH服務端

1.2免密登錄設(shè)置

(2)安裝Java環(huán)境，在安裝目錄下，并驗證安裝是否成功；

(3)切換到任意的非jdk安裝目錄，使用剛剛的命令，驗證java是否可用；

(4)根據(jù)jdk安裝目錄設(shè)置JAVA_HOME和PATH環(huán)境變量，設(shè)置后使其立即生效，然后通過echo命令查看JAVA_HOME和PATH變量的設(shè)置是否成功；

(5)切換到任意非jdk安裝目錄，執(zhí)行”java?–version”命令，對比（2）中的命令，對結(jié)果進行對比分析，并解釋設(shè)置環(huán)境變量的意義；

(6)對比分析：

????對比: 比較在設(shè)置環(huán)境變量前后，java -version命令的執(zhí)行結(jié)果。

????分析: 如果在設(shè)置環(huán)境變量之前命令失敗，而在設(shè)置之后成功，這證明了環(huán)境變量設(shè)置的必要性和有效性。環(huán)境變量的設(shè)置簡化了Java應用程序的運行和開發(fā)，因為它們允許Java命令在任何工作目錄下被識別和執(zhí)行。

(7)設(shè)置環(huán)境變量的意義：

1)、簡化命令行操作：通過設(shè)置環(huán)境變量，用戶可以在任何目錄下直接運行Java命令，而不需要每次都輸入完整的路徑。這大大簡化了命令行操作，提高了效率。

2)、系統(tǒng)級別的配置：環(huán)境變量可以被系統(tǒng)級別的應用程序和服務所使用。例如，某些應用程序可能需要知道Java的安裝位置，通過讀取JAVA_HOME環(huán)境變量，它們可以找到并使用正確的Java版本。

3)、跨平臺兼容性：環(huán)境變量提供了一種跨平臺的配置方式。不同的操作系統(tǒng)可能有不同的路徑和配置方式，但通過統(tǒng)一的環(huán)境變量，可以在不同的平臺上實現(xiàn)相同的配置效果。

4)、版本管理：在多版本Java共存的環(huán)境中，通過設(shè)置JAVA_HOME環(huán)境變量，可以指定特定版本的Java用于編譯和運行應用程序。這在需要同時支持多個Java版本的情況下非常有用。

5)、自動化腳本和工具：許多自動化腳本和開發(fā)工具依賴于環(huán)境變量來確定如何執(zhí)行任務。例如，構(gòu)建工具（如Maven或Gradle）會使用JAVA_HOME來確定使用哪個Java版本來編譯代碼。

6)、安全性：通過控制環(huán)境變量，系統(tǒng)管理員可以限制用戶對特定資源的訪問，或者確保應用程序使用正確的庫和資源。

7)、易于維護和更新：如果需要更新Java版本或更改配置，只需更新環(huán)境變量的值，而不需要修改每個腳本或應用程序的配置。這樣可以減少維護工作量，并確保所有依賴于這些變量的工具和應用程序都能正確地使用新的配置。

總之，設(shè)置環(huán)境變量是一種有效的配置管理方式，它使得系統(tǒng)配置更加靈活、可維護，并且能夠提高開發(fā)和運維的效率。

（三）單機安裝hadoop

(1)安裝hadoop

(2)通過查看安裝的hadoop版本信息，驗證是否安裝成功

（三）偽分布式安裝hadoop和配置

(1)配置相關(guān)的文件；

(2)初始化分布式文件系統(tǒng)；

(3)使用start-dfs.sh，查看啟動的java進程，驗證啟動是否成功；

(4)終止hadoop運行，使用start-all.sh啟動，查看啟動的java進程，并和（3）中的結(jié)果進行比較分析；

1)、比較分析：

A、使用start-dfs.sh時，只有與HDFS相關(guān)的守護進程（NameNode和DataNode）會啟動。

?B、使用start-all.sh時，除了HDFS的守護進程，還會啟動YARN的ResourceManager和NodeManager，以及MapReduce的JobTracker和TaskTracker（在Hadoop 1.x中）或ResourceManager（在Hadoop 2.x中）。

(5)在Web端查看Hadoop運行情況以及文件系統(tǒng)中的文件目錄；

(6)在hadoop存儲系統(tǒng)中創(chuàng)建?/temp/dirName，文件夾名字自定義并查看創(chuàng)建是否成功

(7)切換到hadoop中的測試樣例文件所在路徑，并任選一個樣例進行測試；

(8)終止Hadoop的運行，并驗證進程結(jié)束；

四、總結(jié)（問題與收獲）

1、遇到的問題：

????SSH服務端安裝和免密登錄設(shè)置：在配置SSH服務端時，我遇到了權(quán)限問題，導致無法成功生成SSH密鑰。通過查閱文檔和咨詢同學，我了解到需要使用sudo命令來獲取必要的權(quán)限。

????Java環(huán)境變量配置：在設(shè)置JAVA_HOME和PATH環(huán)境變量時，我最初沒有將它們添加到系統(tǒng)的環(huán)境變量中，導致在非JDK安裝目錄下無法識別Java命令。通過編輯.bashrc文件并重新加載配置，我成功解決了這個問題。

????Hadoop偽分布式配置：在配置Hadoop的偽分布式環(huán)境時，我遇到了NameNode和DataNode無法同時啟動的問題。經(jīng)過檢查配置文件和日志，我發(fā)現(xiàn)是hdfs-site.xml中的配置有誤，修正后問題得以解決。

2、收獲：

????Linux系統(tǒng)管理技能：通過本次實驗，我加深了對Linux系統(tǒng)管理的理解，包括用戶管理、服務安裝和權(quán)限配置等。

????Java環(huán)境配置經(jīng)驗：我學會了如何在Linux環(huán)境下安裝和配置Java環(huán)境，以及如何通過環(huán)境變量來管理Java版本。

????Hadoop安裝與配置：我掌握了Hadoop的單機和偽分布式安裝方法，了解了Hadoop各組件的作用和配置要點。

????問題解決能力：在遇到問題時，我學會了如何通過查閱文檔、搜索解決方案和與同伴討論來獨立解決問題。

????大數(shù)據(jù)處理理解：通過本次實驗，我對Hadoop和大數(shù)據(jù)處理有了更深入的認識，為后續(xù)的學習和研究打下了基礎(chǔ)。

總的來說，通過本次實驗，我不僅學習到了Hadoop的安裝和使用，還提升了自己的問題解決能力和技術(shù)理解。我相信這些技能和經(jīng)驗將對我的未來學習和工作大有裨益。