1 前言

我們從基礎(chǔ)的hadoop開始學(xué)起，關(guān)于學(xué)習(xí)環(huán)境的搭建，可以基于虛擬機(jī)也可以選擇云平臺(tái)，這里我們選擇vmware虛擬機(jī)。

2 配置VMware虛擬機(jī)

關(guān)于vmware、centos7.x虛擬機(jī)以及xshell的下載和安裝，這里不在詳述，不了解的小伙伴可以自行查詢相關(guān)文檔。我們這里主要介紹安裝之后的配置，在安裝centos7.6一個(gè)虛擬機(jī)之后，直接克隆另外兩臺(tái)虛擬機(jī)。

2.1 設(shè)置主機(jī)名和固定IP

開啟node1，修改主機(jī)名為node1，并修改固定ip為：192.168.88.131

#修改主機(jī)名hostnamectl set-hostname node13# 修改IP地址vim /etc/sysconfig/network-scripts/ifcfg-ens336
IPADDR="192.168.207.131"#重啟網(wǎng)卡systemctl stop network
systemctl start network11#或者直接
systemctl restart network

同樣的操作啟動(dòng)node2和node3,修改node2主機(jī)名為node2，設(shè)置ip為192.168.207.132修改node2主機(jī)名為node3，設(shè)置ip為192.168.207.131

2.2 本地系統(tǒng)與Linux系統(tǒng)配置主機(jī)名映射

1. 在Windows系統(tǒng)中修改hosts文件，填入如下內(nèi)容:

192.168.207.131 node1
192.168.207.132 node2
192.168.207.133 node3

2. 在3臺(tái)Linux的/etc/hosts文件中，填入如下內(nèi)容

192.168.207.131 node1
192.168.207.132 node2
192.168.207.133 node3

2.3 配置虛擬機(jī)之間用戶的SSH免密互通

后續(xù)安裝的集群化軟件，多數(shù)需要遠(yuǎn)程登錄以及遠(yuǎn)程執(zhí)行命令，我們可以簡(jiǎn)單起見，配置三臺(tái)Linux服務(wù)器之間的免密碼互相SSH登陸

1. 在每一臺(tái)機(jī)器都執(zhí)行：ssh-keygen -t rsa -b 4096，一路回車到底即可

2. 在每一臺(tái)機(jī)器都執(zhí)行：

   ssh-copy-id node1
   ssh-copy-id node2
   ssh-copy-id node3
   

3. 執(zhí)行完畢后，node1、node2、node3之間將完成root用戶之間的免密互通

4. 測(cè)試在node1 執(zhí)行 ssh node2 正常登錄即配置成功，如下圖2.3-1所示

后續(xù)大數(shù)據(jù)的軟件，將不會(huì)以root用戶啟動(dòng)（確保安全，養(yǎng)成良好的習(xí)慣）我們?yōu)榇髷?shù)據(jù)的軟件創(chuàng)建一個(gè)單獨(dú)的用戶hadoop，并為三臺(tái)服務(wù)器同樣配置hadoop用戶的免密互通

1. 在每一臺(tái)機(jī)器執(zhí)行：useradd hadoop，創(chuàng)建hadoop用戶

2. 在每一臺(tái)機(jī)器執(zhí)行：passwd hadoop，設(shè)置hadoop用戶密碼為123456

3. 在每一臺(tái)機(jī)器均切換到hadoop用戶：su - hadoop，并執(zhí)行 ssh-keygen -t rsa -b 4096，創(chuàng)建ssh密鑰

4. 在每一臺(tái)機(jī)器均執(zhí)行

   ssh-copy-id node1
   ssh-copy-id node2
   ssh-copy-id node3
   

2.4 安裝JDK環(huán)境

JDK：Java Development Kit，是用于Java語言開發(fā)的環(huán)境。

大數(shù)據(jù)的很多軟件的運(yùn)行都需要有Java運(yùn)行環(huán)境的支持

所以我們?cè)谌_(tái)服務(wù)器上，預(yù)先都部署好JDK環(huán)境。部署JDK不需要懂得Java語言，只需要掌握Linux相關(guān)命令即可。課程中使用JDK1.8版本,可自行到官網(wǎng)下載jdk1.8 linux版本的安裝包，執(zhí)行解壓縮安裝，下面介紹下安裝后的配置。

1. 創(chuàng)建文件夾，用來部署JDK，將JDK和Tomcat都安裝部署到：/export/server 內(nèi)

   mkdir -p /export/server
   

2. 解壓縮JDK安裝文件

   tar -zxvf jdk-8u381-linux-x64.tar.gz /export/server
   

3. 配置JDK的軟鏈接

   ln -s /export/server/jdk1.8.0_381 /export/server/jdk
   

4. 配置JAVA_HOME環(huán)境變量，以及將$JAVA_HOME/bin文件夾加入PATH環(huán)境變量中

   # 編輯/etc/profile
   export JAVA_HOME=/export/server/jdk
   export PATH=$PATH:$JAVA_HOME/bin
   

5. 使環(huán)境變量生效

   source /etc/profile
   

6. 配置java執(zhí)行程序軟連接

   # 刪除系統(tǒng)自帶的java程序
   rm -f /usr/bin/java
   # 軟連接到我們自己安裝的java程序
   ln -s /export/server/jdk/bin/java /usr/bin/java
   

7. 驗(yàn)證

   java -version
   java version "1.8.0_381"
   Java(TM) SE Runtime Environment (build 1.8.0_381-b09)
   Java HotSpot(TM) 64-Bit Server VM (build 25.381-b09, mixed mode)
   

2.5 關(guān)閉防火墻和SELinux

集群化軟件之間需要通過端口互相通訊，為了避免出現(xiàn)網(wǎng)絡(luò)不通的問題，我們可以簡(jiǎn)單的在集群內(nèi)部關(guān)閉防火墻。

systemctl stop firewalld
systemctl disable firewalld

Linux有一個(gè)安全模塊：SELinux，用以限制用戶和程序的相關(guān)權(quán)限，來確保系統(tǒng)的安全穩(wěn)定。在當(dāng)前，我們只需要關(guān)閉SELinux功能，避免導(dǎo)致后面的軟件運(yùn)行出現(xiàn)問題即可

vim /etc/sysconfig/selinux
# 將SELINUX=enforcing 改為
SELINUX=disabled

2.6 更新時(shí)區(qū)和同步時(shí)間

以下操作在三臺(tái)Linux均執(zhí)行

1. 安裝ntp軟件

   yum install -y ntp
   

2. 更新時(shí)區(qū)

   rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
   

3. 同步時(shí)間

   ntpdate -u ntp.aliyun.com
   

4. 開啟ntp服務(wù)并設(shè)置開機(jī)自啟

   systemctl start ntpdsystemctl enable ntpd
   

2.7 保存虛擬機(jī)快照

結(jié)語

如果小伙伴什么問題或者指教，歡迎交流。

?QQ:806797785

參考鏈接:

[1]大數(shù)據(jù)視頻[CP/OL].2020-04-16.p1-6.