看到hdfs大家應(yīng)該做什么？

是的你應(yīng)該去把集群打開，

cd /export/servers/hadoop/sbin

啟動(dòng)集群

./start-all.sh

在虛擬機(jī)hadoop02和hadoop03上的conf目錄下配置相同的日志采集方案，‘

cd /export/servers/flume/conf

切換完成之后，接下來我們輸入下面的命令

vi exec-avro-new.conf

然后在文件里面輸入

a1.sources = r1 r2 r3
a1.sinks = k1
a1.channels = c1
#配置第一個(gè)Source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /export/data/access.log
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = static
a1.sources.r1.interceptors.i1.key = type
0a1.sources.r1.interceptors.i1.value = access
#配置第二個(gè)Source
a1.sources.r2.type = exec
a1.sources.r2.command = tail -F /export/data/nginx.log
a1.sources.r2.interceptors = i2
a1.sources.r2.interceptors.i2.type = static
a1.sources.r2.interceptors.i2.key = type
a1.sources.r2.interceptors.i2.value = nginx
#配置第三個(gè)Source
a1.sources.r3.type = exec
a1.sources.r3.command = tail -F /export/data/web.log
a1.sources.r3.interceptors = i3
a1.sources.r3.interceptors.i3.type = static
a1.sources.r3.interceptors.i3.key = type
a1.sources.r3.interceptors.i3.value = web
#配置Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 2000000
a1.channels.c1.transactionCapacity = 100000
#配置Sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop01
a1.sinks.k1.port = 41414
# 關(guān)聯(lián)Source、Sink和Channel 
a1.sources.r1.channels = c1
a1.sources.r2.channels = c1
a1.sources.r3.channels = c1
a1.sinks.k1.channel = c1

記住hadoop02和hadoop03都需要上傳哈，上傳這個(gè)相同的文件就ok。

那么接下來，讓我們切換到hadoop01.選擇成功之后，我們?cè)俅吻袚Q到熟悉的conf目錄

cd /export/servers/flume/conf

輸入

vi avro-hdfs.conf

輸入下面內(nèi)容

a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置Source
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop01
a1.sources.r1.port = 41414
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp
# 配置Channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity = 10000
# 配置Sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop1:9000/Flume/logs/%{type}/%Y%m%d
a1.sinks.k1.hdfs.filePrefix = events
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollSize = 10485760
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

?

那么好，上面的弄完了，我們接下來切換到。

hadoop01的lib目錄下

cd /export/servers/hadoop/share/hadoop/common/lib

切換完成之后我們復(fù)制一個(gè)jar包到flume目錄下，

cp guava-27.0-jre.jar /export/servers/flume/lib

復(fù)制完成之后我們切換到flume的lib目錄下，把之前的guava刪除掉

cd /export/servers/flume/lib

切換完成之后，我們刪除之前版本的guava

rm -rf guava-11.0.2.jar

那么這個(gè)時(shí)候！

我們就需要啟動(dòng)集群！

不會(huì)啟動(dòng)集群的給自己兩巴掌，然后去博主之前的博客尋找一下如何搭建hadoop集群。

一定要啟動(dòng)集群啊！

再次囑咐、

已經(jīng)啟動(dòng)的可以略過

，沒有啟動(dòng)的回到文章的第一行，啟動(dòng)集群，再回來。

首先切換到hadoop01的conf目錄下

flume-ng agent --name a1 --conf conf/ --conf-file avro-hdfs.conf -Dflume.root.logger=INFO,console

展示

那么接下來，我們切換到hadoop02和hadoop03！

切換到他們的conf目錄

cd /export/servers/flume/conf

輸入下面的內(nèi)容

flume-ng agent --name a1 --conf conf/ --conf-file exec-avro-new.conf -Dflume.root.logger=INFO,console

那么開始展示hadoop02和hadop03的

兩個(gè)啟動(dòng)完成之后，我們返回看一下hadoop01的日志

上面的操作完成之后，我們各自克隆3個(gè)hadoop02和hadoop03窗口

那么接下來的盛況應(yīng)該是

一共這么老些個(gè)

那么我們挑選一個(gè)hadoop02和hadoop03的窗口輸入下面的命令查看一下日志的寫入情況，

while true;do echo "access access..." >> /export/data/access.log;sleep 1;done

再挑選一組

while true;do echo "nginx nginx..." >> /export/data/nginx.log;sleep 1;done

再再挑選一組

while true;do echo "web web..." >> /export/data/web.log;sleep 1;done

那么我們回到hadoop01，查看一波日志

ok那么下一步；

打開hadoop01的9870端口的webui

點(diǎn)進(jìn)去，再點(diǎn)一下

就會(huì)看到我們寫入的日志內(nèi)容

隨便點(diǎn)進(jìn)去一個(gè)

那么到這里為止flume，將日志采集到hdfs就完成啦

撒花~

有問題可以再評(píng)論區(qū)提出來，看到的話會(huì)給大家解答，或者私信也可以