【大數(shù)據(jù)進階第二階段之Hadoop學習筆記】Hadoop 概述-CSDN博客

【大數(shù)據(jù)進階第二階段之Hadoop學習筆記】Hadoop 運行環(huán)境搭建-CSDN博客

【大數(shù)據(jù)進階第二階段之Hadoop學習筆記】Hadoop 運行模式-CSDN博客

1、模板虛擬機環(huán)境準備

1.1、?hadoop100 虛擬機配置要求如下

（1）使用 yum 安裝需要虛擬機可以正常上網，yum 安裝前可以先測試下虛擬機聯(lián)網情況

[root@hadoop100 ~]# ping www.baidu.com

（2）安裝epel-release

[root@hadoop100 ~]# yum install -y epel-release

（3）注意：如果Linux 安裝的是最小系統(tǒng)版，還需要安裝如下工具；如果安裝的是Linux桌面標準版，不需要執(zhí)行如下操作
net-tool：工具包集合，包含ifconfig 等命令
vim：編輯器

[root@hadoop100 ~]# yum install -y net-tools
[root@hadoop100 ~]# yum install -y vim

1.2、 關閉防火墻，關閉防火墻開機自啟

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

1.3、?創(chuàng)建普通用戶，并修改普通用戶的密碼

[root@hadoop100 ~]# useradd Tom
[root@hadoop100 ~]# passwd Tom

1.4、?配置普通用戶具有 root 權限，方便后期加sudo 執(zhí)行 root 權限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers 文件，在%wheel 這行下面添加一行，如下所示：

注意：Tom這一行不要直接放到 root行下面，因為所有用戶都屬于 wheel組，你先配置了Tom具有免密功能，但是程序執(zhí)行到 %wheel行時， 該功能又被覆蓋回需要密碼 。所以Tom要放到 %wheel這行下面。

2.1.5 在 /opt目錄下創(chuàng)建文件夾 ，并修改所屬用戶和所屬組

2.1.6 卸載虛擬機自帶的 JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查詢所安裝的所有rpm軟件包
grep -i：忽略大小寫
xargs -n1：表示每次只傳遞一個參數(shù)
rpm -e --nodeps：強制卸載軟件
注意：注意：如果你的虛擬機是最小化安裝不需要執(zhí)行這一步。

1.7|?重啟虛擬機

[root@hadoop100 ~]# reboot

2.2 克隆虛擬機

2.1、 利用模板機 hadoop100，克隆 三臺虛擬機 hadoop102 hadoop103 hadoop104

注意：克隆時，要先關閉 hadoop100

2.2、 修改克隆機 IP，以 hadoop102 舉例說明

（1）修改克隆虛擬機的靜態(tài) IP：

[Tom@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 

（2）查看 Linux虛擬機的虛擬網絡編輯器，編輯 ->虛擬網絡編輯器 ->VMnet8

（3）查看 Windows系統(tǒng)適配器 VMware Network Adapter VMnet8的 IP地址

（4）保證 Linux系統(tǒng) ifcfg-ens33文件中 IP地址、虛擬網絡編輯器地址和 Windows系統(tǒng) VMnet8網絡 IP地址相同。

2.3、 修改克隆機主機名 ，以 hadoop102舉例說明

（1）修改主機名稱

[root@hadoop100 ~]# vim /etc/hostname 

（2）配置 Linux克隆機主機名稱映射 hosts文件 打開 /etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

2.4、 重啟克隆機 hadoop102

[root@hadoop100 ~]# reboot

2.5、 修改 windows的主機映射文件(hosts文件)

進入C:\Windows\System32\drivers\etc路徑，打開 hosts文件并添加如下內容 ，然后保存。

3、 在 hadoop102 安裝 JDK

3.1、卸載現(xiàn)有 JDK

注意：安裝 JDK前，一定確保提前刪除了虛擬機自帶的 JDK。

3.2、用 XShell傳輸工具將 JDK導入到 opt目錄下面的 software文件夾下面

3.3、在 Linux系統(tǒng)下的 opt目錄中查看軟件包是否導入成功

[Tom@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz

3.4、解壓 JDK到 /opt/module目錄下

[Tom@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3.5、配置 JDK環(huán)境變量

[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh?

source一下 /etc/profile文件 ，讓新的環(huán)境變量 PATH生效

[Tom@hadoop102 software]$ source /etc/profile

測試JDK是否安裝成功

[Tom@hadoop102 software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[Tom@hadoop102 software]$?

4、 在 hadoop102 安裝 Hadoop

4.1、用 XShell文件傳輸 工具將 hadoop-3.1.3.tar.gz導入到 opt目錄下面的 software文件夾下面

4.2、解壓安裝文件到 /opt/module下面

[Tom@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4.3、查看是否解壓成功

[Tom@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3 ?jdk1.8.0_212

4.4、將 Hadoop添加到環(huán)境變量

[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh?

讓修改后的文件生效

[Tom@hadoop102 software]$ source /etc/profile

4.5、測試是否安裝成功

[Tom@hadoop102 software]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[Tom@hadoop102 software]$?

4.6、重啟 如果 Hadoop命令不能用再重啟虛擬機

[Tom@hadoop102 hadoop-3.1.3]$ sudo reboot

5、 Hadoop 目錄結構

查看 Hadoop目錄結構

[Tom@hadoop102 hadoop-3.1.3]$ ll
總用量 184
-rw-rw-r--. 1 Tom Tom ? ? 25 5月 ?28 16:49 a.txt
drwxr-xr-x. 2 Tom Tom ? ?183 9月 ?12 2019 bin
drwxrwxr-x. 4 Tom Tom ? ? 37 5月 ?29 10:54 data
drwxr-xr-x. 3 Tom Tom ? ? 20 9月 ?12 2019 etc
drwxrwxr-x. 3 Tom Tom ? ? 18 5月 ?29 10:53 hdfsdata
drwxr-xr-x. 2 Tom Tom ? ?106 9月 ?12 2019 include
drwxr-xr-x. 3 Tom Tom ? ? 20 9月 ?12 2019 lib
drwxr-xr-x. 4 Tom Tom ? ?288 9月 ?12 2019 libexec
-rw-rw-r--. 1 Tom Tom 147145 9月 ? 4 2019 LICENSE.txt
drwxrwxr-x. 3 Tom Tom ? 4096 5月 ?29 15:36 logs
-rw-rw-r--. 1 Tom Tom ?21867 9月 ? 4 2019 NOTICE.txt
-rw-rw-r--. 1 Tom Tom ? 1366 9月 ? 4 2019 README.txt
drwxr-xr-x. 3 Tom Tom ? 4096 9月 ?12 2019 sbin
drwxr-xr-x. 4 Tom Tom ? ? 31 9月 ?12 2019 share
drwxrwxr-x. 2 Tom Tom ? ? 22 5月 ? 6 22:23 wcinput
[Tom@hadoop102 hadoop-3.1.3]$?

重要目錄

（1） bin目錄：存放對 Hadoop相關服務（ hdfs yarn mapred）進行操作的腳本
（2） etc目錄： Hadoop的配置文件目錄，存放 Hadoop的配置文件
（3） lib目錄：存放 Hadoop的本地庫（對數(shù)據(jù)進行壓縮解壓縮功能）
（4） sbin目錄：存放啟動或停止 Hadoop相關服務的腳本
（5） share目錄：存放 Hadoop的依賴 jar包 、文檔和官方案例
?