wordpress 畫廊 插件西安做推廣優(yōu)化的公司
?一、Hadoop安裝與配置
1、解壓Hadoop安裝包
找到hadoop-2.6.0.tar.gz,將其復(fù)到master0節(jié)點(diǎn)的”/home/csu”目錄內(nèi)，解壓hadoop
[csu@master0 ~]$ tar ?-zxvf ?~/hadoop-2.6.0.tar.gz
?解壓成成功后自動在csu目錄下創(chuàng)建hadoop-2.6.0子目錄，可以用cd hadoop-2.6.0命令進(jìn)入這個目錄，并用ls -l 命令查看里面的文件。
2、配置hadoop環(huán)境變量
如果通過代碼無法打開文件，就點(diǎn)擊HOME目錄，找到computer目錄然后按照這個路徑去找到各個文件夾“/home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh”
[csu@master0 ~]$ gedit /home/csu/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
在文件的前面找到“export JAVA_HOME={JAVA_HOME}”將其修改為實(shí)際的JDK安裝路徑，即輸入”export JAVA_HOME=/usr/java/jdk1.7.0_71/” 編輯完畢保存退出即可
3、配置Yarn環(huán)境變量文件
配置Yarn環(huán)境變量文件是yarn-env.sh,也位于“~/hadoop-2.6.0/etc/hadoop”目錄下
[csu@master0 ~]$? gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-env.sh
在文件的前面部份找到“# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ ”
將其改為“export JAVA_HOME=/usr/java/jdk1.7.0_71/”編輯完畢保存退出即可
4、配置核心組件文件
? hadoop的核心組件文件是core-site.xml,也位于“~/hadoop-2.6.0/etc/hadoop”目錄下
[csu@master0 ~]$? gedit /home/csu/hadoop-2.6.0/etc/hadoop/core-site.xml
需要將下面的配置代碼放在文件的<configuration>和</configuration>之間
? <configuration>
? <property>
????? <name>fs.defaultFS</name>
????? <value>hdfs://master0:9000</value>
? </property>
? <property>
????? <name>hadoop.tmp.dir</name>
????? <value>/home/csu/hadoopdata</value>
? </property>
</configuration>
編輯完畢保存退出即可
（事先要在/home/csu下建一個hadoopdata目錄）
5、配置文件系統(tǒng)
?? Hadoop的文件系統(tǒng)配置文件是hdfs-site.xml,也位于“~/hadoop-2.6.0/etc/hadoop”子目錄下。
? [csu@master0 ~]$? gedit /home/csu/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
需要將下面的代碼填充到文件的<configuration>和</configuration>之間
? <property>
??? <name>dfs.replication</name>
??? <value>1</value>
?</property>
編輯完畢保存退出即可
dfs.replicationd是HDFS數(shù)據(jù)塊的副本數(shù)，<value>1</value>
中的值是1就表示是一個副本，默認(rèn)值為3.
6、配置yarn-site.xml文件
?? yarn-site.xml文件也位于“~/hadoop-2.6.0/etc/hadoop”子目錄下
?? [csu@master0 ~]$? gedit /home/csu/hadoop-2.6.0/etc/hadoop/yarn-site.xml
將下面的代碼填充到文件的<configuration>和</configuration>之間
?<property>
???? <name>yarn.nodemanager.aux-services</name>
???? <value>mapreduce_shuffle</value>
? </property>
? <property>
???? <name>yarn.resourcemanager.address</name>
???? <value>master0:18040</value>
? </property>
? <property>
???? <name>yarn.resourcemanager.scheduler.address</name>
???? <value>master0:18030</value>
? </property>
? <property>
???? <name>yarn.resourcemanager.resource-tracker.address</name>
???? <value>master0:18025</value>
? </property>
? <property>
???? <name>yarn.resourcemanager.admin.address</name>
???? <value>master0:18141</value>
? </property>
? <property>
???? <name>yarn.resourcemanager.webapp.address</name>
???? <value>master0:18088</value>
? </property>
編輯完畢保存退出即可
7、配置MapReduce計算框架文件
?? 在~/hadoop-2.6.0/etc/hadoop目錄下系統(tǒng)已經(jīng)有一個mapred-site.xml.template文件，將其復(fù)制并改名，位置不變。
?[csu@master0 ~]$? cp? /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template
/home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml
然后編輯這個文件
[csu@master0 ~]$? gedit /home/csu/hadoop-2.6.0/etc/hadoop/mapred-site.xml
將下面代碼填充到文件的<configuration>和</configuration>之間
?<property>
? <name>mapreduce.framework.name</name>
? <value>yarn</value>
?</property>
編輯完畢保存退出即可
8、配置master的slaves文件
[csu@master0 ~]$? gedit /home/csu/hadoop-2.6.0/etc/hadoop/slaves
?根據(jù)自己搭建的實(shí)際情況進(jìn)行編輯，現(xiàn)在只安裝一個從節(jié)點(diǎn)slave0,就在里面輸入內(nèi)容
???? slave0
編輯完畢保存退出即可
9、復(fù)制master上的Hadoop到Slave節(jié)點(diǎn)
??? 有幾個從節(jié)點(diǎn)就要復(fù)制幾次，現(xiàn)在只有一個slave0從節(jié)點(diǎn)，就復(fù)制一次
? [csu@master0 ~]$ scp -r /home/csu/hadoop-2.6.0? csu@slave0:~/
? （由于我們前面已經(jīng)配置了免密鑰登陸，因此這里不會有密碼輸入認(rèn)證）
至此，就完成了Hadoop集群的安裝與配置.
二、Hadoop的啟動
??1、配置操作系統(tǒng)環(huán)境變量
????? 配置Linux系統(tǒng)的環(huán)境變量
?? [csu@master0 ~]$ gedit? ~/.bash_profile
Or
[csu@master0 ~]nano ~/.bash_profile
?? 在這個文件的尾部追加下面的代碼：
?? #HADOOP
export HADOOP_HOME=/home/csu/hadoop-2.6.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
?保存退出后執(zhí)行“source? ~/.bash_profile”命令，使修改后的配置生效。
（同時也要在其他節(jié)點(diǎn)進(jìn)行上述配置）
2、創(chuàng)建Hadoop數(shù)據(jù)目錄
Mkdir /home/csu/hadoopdata
注意，這里的數(shù)據(jù)目錄名“hadoopdata”與前面核心組件文件core-site.xml的配置
<name>hadoop.tmp.dir</name>
<value>/home/csu/hadoopdata</value>要一致
3、格式化文件系統(tǒng)
[csu@master0 ~]$ hdfs namenode -format（主節(jié)點(diǎn)）
- 啟動和關(guān)閉hadoop
?? [csu@master0 ~]$ cd?? ~/hadoop-2.6.0
?? [csu@master0? hadoop-2.6.0]$ sbin/start-all.sh?? (啟動)
?? [csu@master0? hadoop-2.6.0]$ sbin/stop-all.sh?? (關(guān)閉)
5、驗(yàn)證Hadoop是否啟動成功
[csu@master0? hadoop-2.6.0]$ jps
執(zhí)行jps查看進(jìn)程，如果有四個進(jìn)程：
SecondaryNameNode、ResourceManager、NameNode和Jps
則表明主節(jié)點(diǎn)啟動成功
從節(jié)點(diǎn)上執(zhí)行jps,看到有NodeManager、Jps和DataNode
三個進(jìn)程表示從節(jié)點(diǎn)也安裝成功
在firefox瀏覽器中( 在命令狀下直接輸入firefox就可以啟動firefox瀏覽器)：
在地址欄輸入http://master0:50070/可以查看Hadoop運(yùn)行狀態(tài)
在地址欄輸入http://master0:18088/可以查看Yarn運(yùn)行狀態(tài)
??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????————學(xué)習(xí)筆記