一、logstash簡(jiǎn)介

1. 集中、轉(zhuǎn)換和存儲(chǔ)數(shù)據(jù)
   Logstash 是免費(fèi)且開(kāi)放的服務(wù)器端數(shù)據(jù)處理管道，能夠從多個(gè)來(lái)源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到您最喜歡的“存儲(chǔ)庫(kù)”中。
   Logstash 能夠動(dòng)態(tài)地采集、轉(zhuǎn)換和傳輸數(shù)據(jù)，不受格式或復(fù)雜度的影響。利用 Grok 從非結(jié)構(gòu)化數(shù)據(jù)中派生出結(jié)構(gòu)，從 IP 地址解碼出地理坐標(biāo)，匿名化或排除敏感字段，并簡(jiǎn)化整體處理過(guò)程。
   數(shù)據(jù)從源傳輸?shù)酱鎯?chǔ)庫(kù)的過(guò)程中，Logstash 過(guò)濾器能夠解析各個(gè)事件，識(shí)別已命名的字段以構(gòu)建結(jié)構(gòu)，并將它們轉(zhuǎn)換成通用格式，以便進(jìn)行更強(qiáng)大的分析和實(shí)現(xiàn)商業(yè)價(jià)值。

2. Logstash 能夠動(dòng)態(tài)地轉(zhuǎn)換和解析數(shù)據(jù)，不受格式或復(fù)雜度的影響：
   利用 Grok 從非結(jié)構(gòu)化數(shù)據(jù)中派生出結(jié)構(gòu)
   從 IP 地址破譯出地理坐標(biāo)
   將 PII 數(shù)據(jù)匿名化，完全排除敏感字段
   簡(jiǎn)化整體處理，不受數(shù)據(jù)源、格式或架構(gòu)的影響.

3. 選擇您的存儲(chǔ)庫(kù)，導(dǎo)出您的數(shù)據(jù)
   盡管 Elasticsearch 是我們的首選輸出方向，能夠?yàn)槲覀兊乃阉骱头治鰩?lái)無(wú)限可能，但它并非唯一選擇。
   Logstash 提供眾多輸出選擇，您可以將數(shù)據(jù)發(fā)送到您要指定的地方，并且能夠靈活地解鎖眾多下游用例。

4. Logstash 采用可插拔框架，擁有 200 多個(gè)插件。您可以將不同的輸入選擇、過(guò)濾器和輸出選擇混合搭配、精心安排，讓它們?cè)诠艿乐泻椭C地運(yùn)行。

二、下載安裝Logstash

下載地址：https://www.elastic.co/cn/downloads/past-releases/logstash-7-17-4

解壓

tar -zxvf logstash-7.17.4-linux-x86_64.tar.gz# 解壓后：
[root@nb002 logstash-7.17.4]# ll
總用量 476
drwxr-xr-x 2 root root    4096 6月  26 07:37 bin
drwxr-xr-x 2 root root     142 6月  26 07:37 config
-rw-r--r-- 1 root wheel   2276 5月  18 23:31 CONTRIBUTORS
drwxr-xr-x 2 root wheel      6 5月  18 23:31 data
-rw-r--r-- 1 root wheel   4050 5月  18 23:31 Gemfile
-rw-r--r-- 1 root wheel  28942 5月  18 23:31 Gemfile.lock
drwxr-xr-x 9 root root     121 6月  26 07:37 jdk
drwxr-xr-x 6 root root      84 6月  26 07:37 lib
-rw-r--r-- 1 root wheel  13675 5月  18 23:31 LICENSE.txt
drwxr-xr-x 4 root root      90 6月  26 07:37 logstash-core
drwxr-xr-x 3 root root      86 6月  26 07:37 logstash-core-plugin-api
drwxr-xr-x 4 root root      55 6月  26 07:37 modules
-rw-r--r-- 1 root wheel 424030 5月  18 23:31 NOTICE.TXT
drwxr-xr-x 3 root root      30 6月  26 07:37 tools
drwxr-xr-x 4 root root      33 6月  26 07:37 vendor
drwxr-xr-x 9 root root     193 6月  26 07:37 x-pack

啟動(dòng)，接收控制臺(tái)的輸入，并輸出到控制臺(tái)

 ./logstash -e 'input{stdin{type => stdin}} output{stdout{codec => rubydebug}}'

完整啟動(dòng)日志如下，Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}

然后，我們?cè)诳刂婆_(tái)輸入，也會(huì)有響應(yīng)的輸出打印到控制臺(tái)，如下：

host：主機(jī)名稱(chēng)
@timestamp：處理消息的時(shí)間
message：消息本身，接收輸入的內(nèi)容
type：輸入類(lèi)型

三、以配置文件方式啟動(dòng)Logstash

3.1 在config目錄下新建first-pipeline.conf文件, 內(nèi)容如下：

input{stdin{type => stdin}
}output{stdout{codec => rubydebug}
}

3.2 然后以配置文件啟動(dòng):

./logstash -f ../config/first-pipeline.conf

然后我們?cè)诳刂婆_(tái)中輸入一條日志消息：發(fā)現(xiàn)OK

END