目錄

一、大數(shù)據(jù)及Hadoop入門

1.1 單節(jié)點(diǎn)、分布式、集群

1.1.1 大數(shù)據(jù)的概念

1.1.2 大數(shù)據(jù)的本質(zhì)

二、HDFS Shell命令

2.1、常用相關(guān)命令

2.2、上傳文件

2.2.1、上傳文件介紹

2.2.2上傳文件操作

2.3、下載文件

2.4、刪除文件

2.5、創(chuàng)建目錄

2.6、查看文件系統(tǒng)

2.7、拷貝文件

三、分布式系統(tǒng)原理

3.1、數(shù)據(jù)塊

四、HDFS架構(gòu)

五、Datanode服役（上線）和退役（下線）

5.1分發(fā)到其他節(jié)點(diǎn)

5.2、格式化并啟動(dòng)HDFS?

5.3、更新hdfs

六、Centos權(quán)限管理

6.1、權(quán)限介紹

6.2、修改權(quán)限

七、HDFS進(jìn)程啟動(dòng)流程

八、Hadoop配置文件解釋

8.1 hadoop內(nèi)核和環(huán)境配置

8.2、mapreduce配置

8.3、yarn配置

8.4、slaves配置

九、hdfs及yarn啟動(dòng)驗(yàn)證：進(jìn)程啟動(dòng)命令

---

一、大數(shù)據(jù)及Hadoop入門

1.1 單節(jié)點(diǎn)、分布式、集群

1.1.1 大數(shù)據(jù)的概念

大數(shù)據(jù)的5v特點(diǎn)

Volume：大量

Velocity：高速

Variety：多樣

Value：價(jià)值

Veracity：真實(shí)性

1.1.2 大數(shù)據(jù)的本質(zhì)

大數(shù)據(jù)的本質(zhì)就是利用計(jì)算機(jī)集群來(lái)處理大批量的數(shù)據(jù)，大數(shù)據(jù)的技術(shù)關(guān)注點(diǎn)在于如何將數(shù)據(jù)分發(fā)給不同的計(jì)算機(jī)進(jìn)行存儲(chǔ)和處理。

? 1）單臺(tái)計(jì)算機(jī)存儲(chǔ)這些數(shù)據(jù)都是很困難的，那怎么辦？

答：分發(fā)到不同的計(jì)算機(jī)存儲(chǔ)。

? 2）只存儲(chǔ)有沒有意義？

答：無(wú)意義，存儲(chǔ)是需要投入場(chǎng)地，投入服務(wù)器硬件設(shè)施，都需要錢維護(hù)。

? 3）那存儲(chǔ)后需要什么？怎么樣讓存儲(chǔ)變得有意義？

答：認(rèn)真分析，真正地把數(shù)據(jù)轉(zhuǎn)換成有價(jià)值的虛擬產(chǎn)品。

二、HDFS Shell命令

2.1、常用相關(guān)命令

hdfs dfs-cat  //查看
hdfs dfs-copyFromLocal  //從本地復(fù)制
hdfs dfs-copyToLocal  //復(fù)制至本地
hdfs dfs-cp  //復(fù)制
hdfs dfs-get  //獲取
hdfs dfs-ls  //查看
hdfs dfs-mkdir  //創(chuàng)建文件
hdfs dfs-put  //傳輸
hdfs dfs-rm  //刪除

2.2、上傳文件

2.2.1、上傳文件介紹

（1）全稱形式

hdfs dfs-put? ./file hdfs://hadoop1:9000/

hdfs dfs-copyfromlocal? ./file? hdfs://hadoop1:9000/

（2）省略寫法

hdfs dfs-put? ./file? /

hdfs dfs-copyfromlocal? ?./file? /

問題：為什么能夠省略具體hdfs對(duì)應(yīng)ip地址呢？

答：配置了core-site.xml

2.2.2上傳文件操作

-put方式上傳

[root@hadoop1 ~]# cd /home/java ???

[root@hadoop1 java]# ls

jdk ?jdk_1.8.0_131.tar.gz

[root@hadoop1 java]# hdfs dfs -put ?./jdk_1.8.0_131.tar.gz ?hdfs://hadoop1:9000/

-copyFromLocal方式上傳

[root@hadoop1 ~]# cd /home/java ???

[root@hadoop1 java]# ls

jdk ?jdk_1.8.0_131.tar.gz

[root@hadoop1 java]# hdfs dfs -put ?./jdk_1.8.0_131.tar.gz ?hdfs://hadoop1:9000/

2.3、下載文件

hdfs dfs -get HDFS的根路徑下的文件? 本地的文件系統(tǒng)

hdfs dfs -get hdfs://hadoop1:9000/hadoop-2.6.1.tar.gz? ./

hdfs dfs -copyToLocal /jdk_1.8.0_131.tar.gz ./

前面一個(gè)/代表HDFS的根路徑，后面一個(gè)/代表Linux的根路徑

2.4、刪除文件

rm -rf dir? 刪除Linux本地文件系統(tǒng)中對(duì)應(yīng)目錄

hdfs dfs -rm /hadoop-2.6.1.tar.gz? 刪除hdfs文件系統(tǒng)中的內(nèi)容

hdfs dfs -rm -r /dir? 刪除目錄和子目錄

2.5、創(chuàng)建目錄

hdfs dfs -mkdir /dir? 一個(gè)目錄，不是遞歸目錄

hdfs dfs -mkdir -p /dir1/dir2? 遞歸目錄

2.6、查看文件系統(tǒng)

hdfs dfs -ls /

2.7、拷貝文件

cp jdk_1.8.0_131.tar.gz ?jdk_1? ?將后者拷貝到前者所在的文件夾中? Linux本地執(zhí)行

hdfs dfs -cp?/jdk_1.8.0_131.tar.gz /jdk1? ?HDFS文件系統(tǒng)中

三、分布式系統(tǒng)原理

3.1、數(shù)據(jù)塊

把數(shù)據(jù)切分成一個(gè)個(gè)固定大小的塊（物理切分，不是邏輯切分），將這些塊存儲(chǔ)到分布式文件系統(tǒng)上

四、HDFS架構(gòu)

?HDFS的文件是在物理上分塊存儲(chǔ)的 （hadoop2.x版本它的默認(rèn)blocksize大小128M）

五、Datanode服役（上線）和退役（下線）

5.1分發(fā)到其他節(jié)點(diǎn)

?scp /home/hadoop/hadoop-2.6.1/etc/hadoop/slaves hadoop2:/home/hadoop/hadoop-2.6.1/etc/hadoop/? ?分發(fā)到其他節(jié)點(diǎn)

5.2、格式化并啟動(dòng)HDFS?

hdfs namenode -format

start-dfs.sh

格式化，并啟動(dòng)HDFS

5.3、更新hdfs

hdfs dfsadmin -refreshNodes

六、Centos權(quán)限管理

6.1、權(quán)限介紹

每一組信息如“rwx”，每一個(gè)字符都有它自己的特定含義且先后位置是固定的，其中r是讀權(quán)限、w是寫權(quán)限、x是可執(zhí)行權(quán)限、-沒有對(duì)應(yīng)字符的權(quán)限

?Linux里面對(duì)這些字符設(shè)置對(duì)應(yīng)的數(shù)值，r是4，w是2，x是1，-是0?！皉wx”則是7（=4+2+1）

6.2、修改權(quán)限

修改文件夾及子文件夾所有文件

chown 或 chomd? -R? “權(quán)限”或“名：組”? 文件夾名稱

七、HDFS進(jìn)程啟動(dòng)流程

DataNode：負(fù)責(zé)數(shù)據(jù)塊的存儲(chǔ)，它是HDFS的小弟

Namenode：負(fù)責(zé)元數(shù)據(jù)的存儲(chǔ)，接收客戶端的請(qǐng)求，維護(hù)整個(gè)HDFS集群的目錄樹

Secondary：輔助namenode管理，分擔(dān)namenode壓力

八、Hadoop配置文件解釋

8.1 hadoop內(nèi)核和環(huán)境配置

（1）hadoop-env.sh：配置JDK的路徑

（2）core-site.xml：配置Hadoop集群的元數(shù)據(jù)存儲(chǔ)路徑，配置主節(jié)點(diǎn)在哪一臺(tái)機(jī)器上

<configuration>

????????<property>

????????????????<name>fs.defaultFS</name>

????????????????<value>hdfs://hadoop1:9000</value>

指定namenode將來(lái)在哪一臺(tái)節(jié)點(diǎn)啟動(dòng)，通信端口是9000，是fileSystem默認(rèn)的端口號(hào)

????????</property>

<property>

????????<name>hadoop.tmp.dir </name>

????????<value>/usr/hadoop-2.6.1/hdpdata</value>

指定元數(shù)據(jù)存儲(chǔ)的路徑，hdpdata是在執(zhí)行 hdfs namenode -format后才會(huì)自動(dòng)生成

</property>

</configuration>

8.2、mapreduce配置

主要配置mapred-site.xml

MR資源調(diào)度用Yarn

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

8.3、yarn配置

配置yarn-site.xml

<configuration>

<property>

<name>yarn.resourceManager.hostname</name>

<value>hadoop1</value>

配置Yarn老大【resourceManager】將來(lái)在哪一臺(tái)節(jié)點(diǎn)啟動(dòng)，注意是自己的master

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

yarn的子服務(wù)，必須使用mapreduce_shuffle

</property>

</configuration

8.4、slaves配置

[root@hadoop1 hadoop]# cat /home/hadoop/hadoop-2.6.1/etc/hadoop/slaves

hadoop1

hadoop2

hadoop3

指定datanode將來(lái)在哪臺(tái)節(jié)點(diǎn)啟動(dòng)

注：在一臺(tái)節(jié)點(diǎn)上的相關(guān)配置修改，要分發(fā)到全部集群上

例：

[root@hadoop1 hadoop]#scp mapred-site.xml hadoop2:/home/hadoop/hadoop-2.6.1/etc/hadoop

九、hdfs及yarn啟動(dòng)驗(yàn)證：進(jìn)程啟動(dòng)命令

namenode -format

格式化HDFS的作用是初始化集群

（1）HDFS的相關(guān)進(jìn)程：

Namenode（老大）

Datanode（小弟）

SecondaryNameNode（checkpoint節(jié)點(diǎn)）

（2）Yarn相關(guān)進(jìn)程

Resourcemanager（老大）

Nodemanager（小弟）

hdfs和yarn相關(guān)進(jìn)程都啟動(dòng)后，hdfs集群管理頁(yè)面和yarn管理界面才可訪問成功

start-dfs.sh

start-yarn.sh

這兩個(gè)命令等效于start-all.sh

kill - 9?

強(qiáng)制殺死該進(jìn)程

hadoop-daemon.sh start namenode

單獨(dú)啟動(dòng)HDFS相關(guān)的進(jìn)程