Hadoop集群部署（普通用戶）

環(huán)境準備

1）準備3臺客戶機（關閉防火墻、靜態(tài)IP、主機名稱）

如果這一步已經配置過了，可以忽略

# 1 關閉防火墻
systemctl stop firewalld.service # 關閉當前防火墻
systemctl disable firewalld.service  # 關閉防火墻開機自啟動# 2.配置靜態(tài)ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 做出如下修改
BOOTPROTO=static  # 改為靜態(tài)
# 末尾添加如下內容
IPADDR=192.168.188.128
GATEWAY=192.168.188.2
NETMASK=255.255.255.0
DNS1=192.168.188.2# 重啟網卡
systemctl restart network.service# 3.修改主機名
vim /etc/hostname
# 配置hosts映射
vim /etc/hosts
192.168.188.128 kk01
192.168.188.129 kk02
192.168.188.130 kk03# 修改window的主機映射文件（hosts）
# 進入C:\Windows\System32\drivers\etc
# 添加如下內容
192.168.188.128 kk01
192.168.188.129 kk02
192.168.188.130 kk03

2）安裝JDK，并配置JDK環(huán)境變量

擴展部分（可選）

# 如果安裝的linux是最小版的，則需要安裝net-tool工具包、vim編輯器等
yum install -y net-tools   # 工具包中包含ifconfig等命令
yum install -y vim# 安裝epel-release(Extra Packages for Enterprise Linux)與rpm相似，但是可以下載到官方repository中是找不到的rpm包
yum install -y epel-release

3）創(chuàng)建普通用戶，并讓其具有root權限

配置nhk用戶具有root權限，方便后期加sudo執(zhí)行root權限的命令（如果使用root用戶可以忽略該步驟）

# 創(chuàng)建用戶 （如果安裝Linux時已經創(chuàng)建了，這一步驟可以忽略）
useradd nhk
passwd 123456# 配置普通用戶(nhk)具有root權限，方便后期加sudo執(zhí)行root權限的命令
vim /etc/sudoers# 在%wheel這行下面添加一行 (大概是在100行左右位置)## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL ## Allows members of the 'sys' group to run networking, software, 
## service management apps and more.
# %sys ALL = NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL ## Same thing without a password
# %wheel        ALL=(ALL)       NOPASSWD: ALL
nhk ALL=(ALL) NOPASSWD: ALL 

注意：

? nhk ALL=(ALL) NOPASSWD: ALL 這一行不要直接放到root行下面，因為所有用戶都屬于wheel組，你先配置了nhk具有免密功能，但是程序執(zhí)行到%wheel行時，該功能又被覆蓋回需要密碼。所以nhk要放到%wheel這行下面。

4）創(chuàng)建統(tǒng)一工作目錄

（后續(xù)在集群的多臺機器之間都需要創(chuàng)建）

# 個人習慣
mkdir -p /opt/software/ # 軟件安裝目錄、安裝包存放目錄
mkdir -p /opt/data/   # 數(shù)據(jù)存儲路徑# 修改文件夾所有者和所屬組 （如果是使用root用戶搭建集群可以忽略）
chown nhk:nhk /opt/software
chown nhk:nhk /opt/data# 黑馬推薦
mkdir -p /export/server/   # 軟件安裝目錄
mkdir -p /export/data/  # 數(shù)據(jù)存儲路徑
mkdir -p /export/software/ # 安裝包存放目錄# 尚硅谷推薦
mkdir /opt/module
mkdir /opt/software

5）集群時間同步

# 在集群的每臺集群
yum -y install ntpdate $ sudo ntpdate ntp4.aliyun.com
16 Jun 20:04:19 ntpdate[3549]: adjust time server 203.107.6.88 offset 0.213857 sec
# 或
$ sudo ntpdate ntp5.aliyum.com# 查看時間
date

集群部署

1）集群部署規(guī)劃

注意：NameNode 和 SecondaryNameNode 不要安裝在同一臺服務器

注意：ResourceManager 也很消耗內存，不要和 NameNode、SecondaryNameNode 配置在同一臺機器上。

	kk01	kk02	kk03
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

2）上傳Hadoop壓縮包

上傳壓縮包至 /opt/software目錄下

[nhk@kk01 software]$ ll
total 849736
-rw-rw-r--. 1 nhk nhk 338075860 Jun 16 20:10 hadoop-3.1.3.tar.gz
drwxr-xr-x. 8 nhk nhk       255 Sep 14  2017 jdk1.8.0_152
-rw-rw-r--. 1 nhk nhk 531056640 Jun 16 19:27 mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar
-rw-r--r--. 1 nhk nhk    985600 Apr 28  2022 mysql-connector-java-5.1.37.jar
drwxrwxr-x. 2 nhk nhk      4096 Jun 16 19:30 mysql_lib

3）解壓壓縮包

[nhk@kk01 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/software/

4）配置環(huán)境變量

進入 /etc/profile.d/my_env.sh 文件

[nhk@kk01 software]$ sudo vim /etc/profile.d/my_env.sh

在profile文件末尾添加JDK路徑：（shitf+g）

#HADOOP_HOME
export HADOOP_HOME=/opt/software/hadoop-3.1.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新環(huán)境變量

[nhk@kk01 software]$ source /etc/profile.d/my_env.sh

配置集群

1）core配置文件

配置core-site.xml

[nhk@kk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhk@kk01 hadoop]$ vim core-site.xml

參考的配置文件如下

<configuration><!-- 指定NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://kk01:8020</value></property><!-- 指定hadoop數(shù)據(jù)的存儲目錄（默認存儲在/tmp，這會導致數(shù)據(jù)丟失） --><property><name>hadoop.tmp.dir</name><value>/opt/software/hadoop-3.1.3/data</value></property><!-- 配置HDFS網頁登錄使用的靜態(tài)用戶為nhk(用哪個用戶啟動Hadoop就配置哪個用戶) --><property><name>hadoop.http.staticuser.user</name><value>nhk</value></property><!-- 下面三個參數(shù)在Hadoop與 hive 整合時會用到 --><!-- 配置該nhk(superUser)允許通過代理訪問的主機節(jié)點 --><property><name>hadoop.proxyuser.nhk.hosts</name><value>*</value></property><!-- 配置該nhk(superUser)允許通過代理用戶所屬組 --><property><name>hadoop.proxyuser.nhk.groups</name><value>*</value></property><!-- 配置該nhk(superUser)允許通過代理的用戶--><property><name>hadoop.proxyuser.nhk.users</name><value>*</value></property><!--  緩沖區(qū)大小，實際工作中根據(jù)服務器性能動態(tài)調整 --><property><name>io.file.buffer.size</name><value>4096</value></property></configuration>

注意

<property><name>fs.defaultFS</name><value>hdfs://kk01:8020</value>
</property>在 Hadoop 1.x 版本 為 8020
在 Hadoop 2.x 版本 為 9000
在 Hadoop 3.0.x 版本 為 9020
在 Hadoop 3.1.x 版本 為 8020

2）HDFS配置文件

配置hdfs-site.xml

[nhk@kk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhk@kk01 hadoop]$ vim hdfs-site.xml

參考的配置文件如下

<configuration><!-- nn web端訪問地址--><property><name>dfs.namenode.http-address</name><value>kk01:9870</value></property><!-- 2nn web端訪問地址--><property><name>dfs.namenode.secondary.http-address</name><value>kk03:9868</value></property><!-- 測試環(huán)境指定HDFS副本的數(shù)量1，生成環(huán)境一定要配置成3 --><property><name>dfs.replication</name><value>3</value></property><!-- 關閉 hdfs 文件權限檢查，方便學習使用 --><property><name>dfs.permissions</name><value>false</value></property>
</configuration>

注意

<!-- nn web端訪問地址-->
<property><name>dfs.namenode.http-address</name><value>kk01:9870</value>
</property>在 Hadoop 1.x 版本 為 50070
在 Hadoop 2.x 版本 為 50070
在 Hadoop 3.x 版本 為 9780<!-- 2nn web端訪問地址-->
<property><name>dfs.namenode.secondary.http-address</name><value>kk03:9868</value>
</property>在 Hadoop 2.x 版本 為 50090

3）YARN配置文件

配置yarn-site.xml

[nhk@kk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhk@kk01 hadoop]$ vim yarn-site.xml

參考的配置文件如下

<configuration><!-- 指定MR走shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>kk02</value></property><!-- 環(huán)境變量的繼承 （在2.x版本不需要顯式配置）--><property><name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property><!-- 以下三個參數(shù)，在生產環(huán)境中需要每臺單獨配置，以契合機器的內存大小--><!--yarn單個容器允許分配的最大最小內存（默認8g）--><property><name>yarn.scheduler.minimum-allocation-mb</name><value>512</value></property><property><name>yarn.scheduler.maximum-allocation-mb</name><value>4096</value></property><!-- yarn容器允許管理的物理內存大小（默認8g） --><property><name>yarn.nodemanager.resource.memory-mb</name><value>4096</value></property><!-- 關閉yarn對虛擬內存的限制檢查 --><!-- 以下兩個參數(shù)默認都為 true --><property><name>yarn.nodemanager.pmem-check-enabled</name><value>true</value></property><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>
</configuration>

4）MapReduce配置文件

配置mapred-site.xml

[nhk@kk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhk@kk01 hadoop]$ vim mapred-site.xml 

參考的配置文件如下

<configuration><!-- 指定MapReduce程序運行在Yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5）workers

該文件用于指定 NodeManage、DataNode啟動的節(jié)點

[nhk@kk01 hadoop]$ pwd
[nhk@kk01 hadoop]$ vim workers 
[nhk@kk01 hadoop]$ cat workers 
kk01
kk02
kk03

注意：

? 該文件中添加的內容結尾不允許有空格，文件中不允許有空行。

配置歷史服務器

為了查看程序的歷史運行情況，需要配置一下歷史服務器。具體配置步驟如下：

1）配置 mapred-site.xml

[nhk@kk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhk@kk01 hadoop]$ vim mapred-site.xml

在文件中增加如下配置

<!-- MR程序歷史服務地址-->
<property><name>mapreduce.jobhistory.address</name><value>kk01:10020</value>
</property>
<!-- MR程序歷史服務器web端地址-->
<property><name>mapreduce.jobhistory.webapp.address</name><value>kk01:19888</value>
</property>

配置日志的聚集

日志聚集概念：應用運行完成以后，將程序運行日志信息上傳到HDFS系統(tǒng)上。

日志聚集功能好處：可以方便的查看到程序運行詳情，方便開發(fā)調試。

注意：

? 開啟日志聚集功能，需要重新啟動NodeManager 、ResourceManager和HistoryManager。

開啟日志聚集功能具體步驟如下：

1）配置 yarn-site.xml

[nhk@kk01 hadoop]$ pwd
/opt/software/hadoop-3.1.3/etc/hadoop
[nhk@kk01 hadoop]$ vim yarn-site.xml

在文件中增加如下配置

<!-- 開啟日志聚集功能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property><!-- 設置日志聚集服務器地址 -->
<!-- 設置yarn歷史服務器地址-->
<property>  <name>yarn.log.server.url</name>  <value>http://kk01:19888/jobhistory/logs</value>
</property><!-- 設置日志保留時間為7天 -->
<!-- 歷史日志保存的時間 7天-->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>

分發(fā)Hadoop及其環(huán)境變量

1）分發(fā)Hadoop

# 使用自定義分發(fā)腳本
[nhk@kk01 hadoop-3.1.3]$ xsync /opt/software/hadoop-3.1.3/# 如果沒有腳本，也可以使用 scp 或 rsync 命令
scp -r /opt/software/hadoop-3.1.3/ nhk@kk02:/opt/software/
scp -r /opt/software/hadoop-3.1.3/ nhk@kk03:/opt/software/

2）分發(fā)環(huán)境變量

# 使用自定義分發(fā)腳本（分發(fā)環(huán)境變量xsync必須使用絕對路徑）
[nhk@kk01 hadoop-3.1.3]$ sudo /home/nhk/bin/xsync /etc/profile.d/my_env.sh# 如果沒有腳本，也可以使用 scp 或 rsync 命令
scp -r /etc/profile.d/my_env.sh nhk@kk02:/etc/profile.d/my_env.sh
scp -r /etc/profile.d/my_env.sh nhk@kk03:/etc/profile.d/my_env.sh

3）刷新環(huán)境變量

[nhk@kk01 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh
[nhk@kk02 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh
[nhk@kk03 hadoop-3.1.3]$ source /etc/profile.d/my_env.sh

群起集群

1）格式化

如果集群是第一次啟動，需要在kk01節(jié)點格式化NameNode（注意格式化之前，一定要先停止上次啟動的所有namenode 和 datanode進程，然后再刪除 data 和 log 數(shù)據(jù)，后續(xù)如果集群出錯，也是這樣重新進行格式化）

[nhk@kk01 hadoop-3.1.3]$ bin/hdfs namenode -format# 若出現(xiàn) successfully formatted 字樣則說明格式化成功

2）啟動HDFS

[nhk@kk01 hadoop-3.1.3]$ sbin/start-dfs.sh   # 第一次啟動，有這些警告是正常的
Starting namenodes on [kk01]
Starting datanodes
kk02: WARNING: /opt/software/hadoop-3.1.3/logs does not exist. Creating.
kk03: WARNING: /opt/software/hadoop-3.1.3/logs does not exist. Creating.
Starting secondary namenodes [kk03]

3）啟動 yarn

需要在配置了ResourceManager的節(jié)點（kk02）啟動YARN

[nhk@kk02 hadoop-3.1.3]$ sbin/start-yarn.sh
Starting resourcemanager
Starting nodemanagers

在kk01上查看集群進程

[nhk@kk01 hadoop-3.1.3]$ xcall jps
------------ kk01 ------------
5125 Jps
4648 DataNode
4987 NodeManager
4477 NameNode
------------ kk02 ------------
3578 DataNode
4330 Jps
3820 ResourceManager
3950 NodeManager
------------ kk03 ------------
3890 NodeManager
4025 Jps
3724 SecondaryNameNode
3630 DataNode

4）web端查看HDFS

Web端查看HDFS的Web頁面：http://kk01:9870/

5）web端查看 SecondaryNameNode

Web端查看SecondaryNameNode的Web頁面：http://kk03:9868/status.html

我們發(fā)現(xiàn)查看了，但是啥也不顯示，查看瀏覽器開發(fā)者頁面發(fā)現(xiàn)如下報錯

Uncaught ReferenceError: moment is not definedat Object.date_tostring (dfs-dust.js:61:7)
....

下面來解決這個bug

（1）進入SNN節(jié)點所在的機器

[nhk@kk03 static]$ pwd
/opt/software/hadoop-3.1.3/share/hadoop/hdfs/webapps/static
[nhk@kk03 static]$ vim dfs-dust.js

將如下函數(shù)

'date_tostring' : function (v) {return moment(Number(v)).format('ddd MMM DD HH:mm:ss ZZ YYYY');
},

修改為

'date_tostring' : function (v) {return Number(v).toLocaleString();
},

接著，我們刪除瀏覽器緩存，再次查看SecondaryNameNode的Web頁面即可正常查看

Hadoop群起腳本

如果我們每次要啟動Hadoop都要現(xiàn)在kk01節(jié)點上啟動hdfs、在kk02上啟動yarn，這樣豈不是很麻煩，所有我們編寫了Hadoop群起停的腳本，如下

[nhk@kk01 bin]$ pwd
/home/nhk/bin
[nhk@kk01 bin]$ vim hdp.sh	

腳本內容如下

#!/bin/bash
if [ $# -lt 1 ]
thenecho "No Args Input..."exit ;
fi
case $1 in
"start")echo " =================== 啟動 hadoop集群 ==================="echo " --------------- 啟動 hdfs ---------------"ssh kk01 "/opt/software/hadoop-3.1.3/sbin/start-dfs.sh"echo " --------------- 啟動 yarn ---------------"ssh kk02 "/opt/software/hadoop-3.1.3/sbin/start-yarn.sh"echo " --------------- 啟動 historyserver ---------------"ssh kk01 "/opt/software/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")echo " =================== 關閉 hadoop集群 ==================="echo " --------------- 關閉 historyserver ---------------"ssh kk01 "/opt/software/hadoop-3.1.3/bin/mapred --daemon stop historyserver"echo " --------------- 關閉 yarn ---------------"ssh kk02 "/opt/software/hadoop-3.1.3/sbin/stop-yarn.sh"echo " --------------- 關閉 hdfs ---------------"ssh kk01 "/opt/software/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)echo "Input Args Error..."
;;
esac

給腳本賦予執(zhí)行權限

[nhk@kk01 bin]$ chmod 777 hdp.sh

集群時間同步

? 時間同步的方式：找一個機器，作為時間服務器，所有的機器與這臺集群時間進行定時的同步，比如，每隔十分鐘，同步一次時間。

1）時間服務器配置（必須root用戶）

（0）查看所有節(jié)點ntpd服務狀態(tài)和開機自啟動狀態(tài)

[nhk@kk01 ~]$ sudo systemctl status ntpd
[nhk@kk01 ~]$ sudo systemctl is-enabled ntpd[nhk@kk02 ~]$ sudo systemctl status ntpd
[nhk@kk02 ~]$ sudo systemctl is-enabled ntpd[nhk@kk03 ~]$ sudo systemctl status ntpd
[nhk@kk03 ~]$ sudo systemctl is-enabled ntpd

（1）在所有節(jié)點關閉ntp服務和自啟動

[nhk@kk01 ~]$ sudo systemctl stop ntpd
[nhk@kk01 ~]$ sudo systemctl disable ntpd[nhk@kk02 ~]$ sudo systemctl stop ntpd
[nhk@kk02 ~]$ sudo systemctl disable ntpd[nhk@kk03 ~]$ sudo systemctl stop ntpd
[nhk@kk03 ~]$ sudo systemctl disable ntpd

（2）修改hadoop102的ntp.conf配置文件

[nhk@kk01 ~]$ sudo vim /etc/ntp.conf

修改內容如下

修改1（授權192.168.188.0-192.168.188.255網段上的所有機器可以從這臺機器上查詢和同步時間）

#restrict 192.168.188.0 mask 255.255.255.0 nomodify notrap

為

restrict 192.168.188.0 mask 255.255.255.0 nomodify notrap

修改2（集群在局域網中，不使用其他互聯(lián)網上的時間）

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

為

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

c）添加3（當該節(jié)點丟失網絡連接，依然可以采用本地時間作為時間服務器為集群中的其他節(jié)點提供時間同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改kk01的/etc/sysconfig/ntpd 文件

[nhk@kk01 ~]$ sudo vim /etc/sysconfig/ntpd

增加內容如下（讓硬件時間與系統(tǒng)時間一起同步）

SYNC_HWCLOCK=yes

（4）重新啟動ntpd服務

[nhk@kk01 ~]$ sudo systemctl start ntpd

（5）設置ntpd服務開機啟動

[nhk@kk01 ~]$ sudo systemctl enable ntpd

2）其他機器配置（必須root用戶）

（1）在其他機器配置10分鐘與時間服務器同步一次

[nhk@kk02 ~]$ sudo crontab -e[nhk@kk03 ~]$ sudo crontab -e

編寫定時任務如下：

*/10 * * * * /usr/sbin/ntpdate kk01

（2）修改任意機器時間

[nhk@kk02 ~]$ sudo date -s "2017-9-11 11:11:11"

（3）十分鐘后查看機器是否與時間服務器同步

[nhk@kk02 ~]$ sudo date

說明：測試的時候可以將10分鐘調整為1分鐘，節(jié)省時間。