準備工作

Xshell安裝包

Xftp7安裝包

虛擬機安裝包

Ubuntu鏡像源文件

Hadoop包

Java包

一、安裝虛擬機

創(chuàng)建ubuntu系統(tǒng)

完成之后會彈出一個新的窗口?

跑完之后會重啟一下

按住首先用ctrl+alt+f3進入命令界面，輸入root，密碼登錄管理員賬號

按Esc

然后輸入

：wq

冒號也要輸入

然后找到語言文件

vi /etc/default/locale

最后一行加上以下語句后保存

LC_ALL=zh_CN.UTF-8
reboot

完成之后

在按ctrl+alt+f1進入圖形界面

配置完成之后先關(guān)閉虛擬機

先配置網(wǎng)絡(luò)結(jié)構(gòu)

點擊設(shè)置

之后點擊網(wǎng)絡(luò)

修改完網(wǎng)絡(luò)配置之后在重啟ubuntu

?

?

連接Xshell

說明：需要提前先安裝好 Xshell 和 Xftp

輸入之后，可能中間會中斷一次，不要擔心，按enter繼續(xù)就可以了??

?編輯

將?jdk的包（Linux版）

?

Hadoop的鏡像文件（Hadoop的包）

?

eclipse（linux版）

這幾個包從winws轉(zhuǎn)到虛擬機中

開始下一步操作

?

?設(shè)置 hostname（3 個虛擬機都設(shè)置）

hostname 設(shè)置計劃

主節(jié)點：master

從節(jié)點 1：slave1

從節(jié)點 2：slave2

切換到 root 用戶

su - //切換root用戶

修改 hostname

vi /etc/hostname

刪掉原有內(nèi)容，寫入：master

按ESC

輸入 :wq ?分號也要輸入

重啟后顯示新的 hostname

?切換到hadoop用戶

su hadoop

允許hadoop用戶使用超級權(quán)限（superprivileges，也稱root權(quán)限）

注意：默認情況下，不允許普通用戶使用超級權(quán)限，如果以sudo

?作為開頭輸入指令，會出現(xiàn)如下提示，告知當前用戶不在允許使用超級權(quán)限的文件內(nèi)。

需要將當前用戶添加到sudoers文件中。

切換到root用戶

su -

編輯/etc/sudoers文件

vi /etc/sudoers

移動到文件底部，在rootALL=(ALL) ALL下添加：

????????????????????????????????[username]ALL=(ALL) ALL

添加后強制保存:wq!?退出。使用exit指令退出root用戶（會返回到hadoop用戶）

exit

?4.?關(guān)閉防火墻（3個虛擬機都設(shè)置）

查看防火墻運行狀態(tài)，返回running表示防火墻正在運行中。

sudo ufw status

?

臨時關(guān)閉防火墻（系統(tǒng)重啟后防火墻又會自動啟動）

sudo systemctl stop ufw.service

?需要禁止防火墻自動啟動（永久關(guān)閉）

sudo systemctl disable ufw.service

查看防火墻運行狀態(tài)，返回running表示防火墻正在運行中。

sudo ufw status

如果終端輸出“Status: inactive”，則表示防火墻已成功關(guān)閉。

?

?(5)設(shè)置IP地址（3個虛擬機都設(shè)置）

注意：網(wǎng)段必須與VMnet8子網(wǎng)IP的網(wǎng)段保持一致，網(wǎng)段中xxx.xxx.xxx.1和xxx.xxx.xxx.2（網(wǎng)關(guān)（GATEWAY））這兩個地址不能使用。例：本機的VMnet8網(wǎng)段為192.168.56.0，則192.168.56.1和192.168.56.2不能使用。可選的IP地址范圍為：192.168.56.3-192.168.56.255。

IP地址分配計劃

master 192.168.56.3

slave1 192.168.56.4

slave2 192.168.56.5

?有命令和窗口頁面兩種操作方式

窗口頁面操作

點擊設(shè)置（setting）

按照下面的圖片內(nèi)容填寫

?查看IP地址

ip addr show

?6)設(shè)置每臺主機hostname到IP的映射關(guān)系3個虛擬機都設(shè)置）

sudo vi /etc/hosts

?（在配置文件中追加3行

192.168.126.3 master

192.168.126.4 slave1

192.168.126.5 slave2

??測試hostname是否可用

sudo vi /etc/hosts

終止按鈕

ctrl c

配置SSH免密登錄

(1)生成秘鑰對

ssh-keygen -t rsa

2）發(fā)送公鑰 先發(fā)給自己（裝完三個節(jié)點之后在發(fā)送給slave1、slave2）

將master節(jié)點上hadoop用戶的公鑰發(fā)給各個節(jié)點的hadoop用戶（包括自己）

在這樣說明一點，要將三臺hadoop配置完畢之后在發(fā)送其它兩臺的，下面的代碼

要在master節(jié)點下一行一行輸入

正在途中還要輸入yes，密碼，

ssh-copy-id ?-i ?/home/hadoop/.ssh/id_rsa.pub hadoop@masterssh-copy-id ?-i ?/home/hadoop/.ssh/id_rsa.pub hadoop@slave1（slave1節(jié)點裝完在輸入）ssh-copy-id ?-i ?/home/hadoop/.ssh/id_rsa.pub hadoop@slave2（slave2節(jié)點裝完在輸入）

?3）測試免密登錄

ssh master

?

(1)安裝jdk和hadoop

先解壓文件

輸入代碼

jdk-8u301-linux-x64.tar.gz 是文件名，要改成自己的文件名

hadoop-2.10.1.tar.gz 是文件名，要改成自己的文件名

tar -zxvf jdk-8u301-linux-x64.tar.gztar -zxvf hadoop-2.10.1.tar.gz

移動至/usr/local 路徑下

移動jdk

sudo mv jdk1.8.0_301 /usr/local/jdk1.8.0

移動hadoop

sudo mv hadoop-2.10.1 /usr/local/

安裝 vim 編輯器，不安裝的話可以使用自帶的 vi 編輯器

（功能相對少）

sudo apt install vim

打開環(huán)境變量配置文件

sudo vim /etc/profile

在文件末尾插入以下定義

export JAVA_HOME=/usr/local/jdk1.8.0export HADOOP_HOME=/usr/local/hadoop-2.10.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按Esc

然后輸入

：wq

$ source /etc/profile

測試是否配置成功

測試Hadoop是否安裝完成

hadoop version

測試Java是否安裝完成

java -version

?配置Hadoop

建立保存臨時目錄的路徑

sudo mkdir -p /usr/data/hadoop/tmp

Hadoop 默認啟動的時候使用的是系統(tǒng)下的 /temp 目錄下,但 是在每一次重啟的時候系統(tǒng)都會將其自動清空 ,如果沒有臨 時的儲存目錄有可能會在下一次啟動 Hadoop 的時候出現(xiàn) 問題。

為防止 Hadoop 運行時出現(xiàn)權(quán)限的問題，需要將/usr/data 目 錄及其子目錄的擁有者全部從 root 改為用戶名。 （這里以本機用戶名 silin 為例。）

sudo chown sillin:silin -R /usr/data

(4)Hadoop分布式配置（master節(jié)點）

進入hadoop安裝文件下的/etc/hadoop/文件夾中。

cd ?/usr/local/hadoop-2.10.1/etc/hadoop

配置hadoop-env.sh腳本文件

將${JAVA_HOME}改為jdk的實際安裝路徑

vi hadoop-env.sh

?將${JAVA_HOME}改為jdk的實際安裝路徑

?配置core-site.xml配置文件

vi core-site.xml

<configuration><property><name>hadoop.tmp.dir</name><value>/usr/data/hadoop/tmp</value></property><property><name>fs.defaultFS</name><value>hdfs://hostname:9000</value></property></configuration>

配置hdfs-site.xml的配置文件?

vi hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>

?將mapred-site.xml.template更名為mapred-site.xml并編輯

cp mapred-site.xml.template mapred-site.xmlvi mapred-site.xml

<property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

?配置yarn-site.xml

vi yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>hostname</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

vi slaves

到這里master節(jié)點就完成了

但是我們需要配置三個節(jié)點

要用到虛擬機里面的復制

?一定要選完全復制

點擊完成就行了

復制兩份

要改里面的hostname，和hostname的文件

?(5)格式化namenode

hdfs namenode -format

(9)啟動（第一次啟動需要輸入yes）

start-dfs.shstart-yarn.sh

輸入jps確認

jps

Master節(jié)點

Slave1節(jié)點

Slave2節(jié)點

?

?參考鏈接：

在ubuntu上安裝hadoop完分布式-CSDN博客

?在Centos7下安裝Hadoop的完全分布_在ubantu上下載hadoop-CSDN博客

如何在Ubuntu下安裝偽分布hadoop_ubantu hadoop偽分布式-CSDN博客