銅仁市城鄉(xiāng)住房與建設(shè)局網(wǎng)站什么是seo?
首先準備好三臺服務(wù)器或者虛擬機,我本機安裝了三個虛擬機,安裝虛擬機的步驟參考我之前的一篇
virtualBox虛擬機安裝多個+主機訪問虛擬機+虛擬機訪問外網(wǎng)配置-CSDN博客
jdk安裝
參考文檔:Linux 環(huán)境下安裝JDK1.8并配置環(huán)境變量_linux安裝jdk1.8并配置環(huán)境變量_Xi-Yuan的博客-CSDN博客
一臺機器配置完成jdk之后,我們將已經(jīng)解壓完成的jdk分發(fā)到另外兩臺虛擬機上
我們的hosts中ip和域名沒有映射
或者通過ip分發(fā),不用配置域名映射了
scp -r /usr/java/jdk1.8.0_391 192.168.137.16:/usr/java??
hosts配置,點擊多屏同時編輯
vi /etc/hosts
scp -r /usr/java/jdk1.8.0_391 hadoop02:/usr/java
分發(fā)完成之后記得其它兩臺機器的java配置一下
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_391
export PATH=$PATH:$JAVA_HOME/binsource /etc/profile
hadoop包提前下載好,官網(wǎng)的下載速度實在太慢,我的下載地址如下:
We Transfer Gratuit. Envoi sécurisé de gros fichiers. (swisstransfer.com)
解壓縮到/usr目錄下
tar -zxvf?hadoop-2.9.2.tar.gz -C /usr
hadoop配置工作
cd /usr/hadoop-2.9.2/etc/hadoop
vi hadoop-env.sh
更改如下配置
JAVA_HOME=/usr/java/jdk1.8.0_391
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop-2.9.2/tmp</value>
</property>
?vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>true</value>
</property>
mv mapred-site.xml.template ?mapred-site.xml
vi?mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-service</name>
<value>mapreduce_shuffle</value>
</property>
vi slaves
刪除已有的localhost
添加從節(jié)點域名
hadoop02
hadoop03
將hadoop01虛擬機上hadoop的文件分發(fā)到其它兩臺虛擬機
scp -r /usr/hadoop-2.9.2 hadoop02:/usr
scp -r /usr/hadoop-2.9.2 hadoop03:/usr
hadoop啟動
#HADDOOP_HOME配置
source /ect/profile
#初始化
hdfs namenode -format
#一鍵啟動之前配置好免密登錄功能,否則啟動和停止時需要n次輸入密碼
cd /root
ssh-keygen
遇到需要輸入的直接回車即可
#查看.ssh目錄是否已經(jīng)生成
第一臺機器有known_hosts,因為我們之前在第一臺虛擬機上scp -r分發(fā)過文件給其他兩臺機器,所以建立過ssh連接,查看known_hosts
現(xiàn)在還沒有應(yīng)用出去
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03
#一鍵啟動,只在hadoop01機器上一鍵啟動即可
#jps查看已經(jīng)啟動起來的服務(wù)
至此hadoop分布式搭建完成
hadoop集群的web端訪問
#關(guān)閉防火墻
查看當前防火墻狀態(tài):systemctl status firewalld
臨時關(guān)閉防火墻:systemctl stop firewalld
永久關(guān)閉防火墻:systemctl disable firewalld
#HDFS web頁面訪問
第一臺虛擬機ip
http://192.168.137.16:50070/
可以看到其他兩個節(jié)點
yarn集群web頁面
http://192.168.137.16:8088/