ELK 是目前最流行的集中式日志解決方案，提供了對日志收集、存儲、展示等一站式的解決方案。

ELK 分別指 Elasticsearch、Logstash、Kibana。

1. Elasticsearch：分布式數(shù)據(jù)搜索引擎，基于 Apache Lucene 實現(xiàn)，可集群，提供數(shù)據(jù)的集中式存儲，分析，以及強大的數(shù)據(jù)搜索和聚合功能。
2. Logstash：數(shù)據(jù)收集引擎，相較于Filebeat 比較重量級，但它集成了大量的插件，支持豐富的數(shù)據(jù)源收集，對收集的數(shù)據(jù)可以過濾，分析，格式化日志格式。
3. Kibana：數(shù)據(jù)的可視化平臺，通過該 web 平臺可以實時查看 Elasticsearch 中的相關(guān)數(shù)據(jù)，并提供了豐富的圖表統(tǒng)計功能。
4. Filebeat：Filebeat 是一款輕量級，占用服務(wù)資源非常少的數(shù)據(jù)收集引擎，它是 ELK 家族的新成員，可以代替 Logstash 作為在應(yīng)用服務(wù)器端的日志收集引擎，支持將收集到的數(shù)據(jù)輸出到 Kafka，Redis 等隊列。

一、Elasticsearch

1.1 安裝配置

1.1.1 拉取鏡像

[root@localhost software]# docker pull elasticsearch:7.17.7

1.1.2 配置文件

第一步：在 Linux 上創(chuàng)建三個數(shù)據(jù)掛載目錄。

第二步：在 conf 目錄下創(chuàng)建 elasticsearch.yml 文件，并修改權(quán)限為777。

[root@localhost elasticsearch]# cd conf/
[root@localhost conf]# touch elasticsearch.yml
[root@localhost conf]# chmod 777 elasticsearch.yml 
[root@localhost conf]# ll
總用量 0
-rwxrwxrwx. 1 root root 0 12月  5 11:03 elasticsearch.yml

配置內(nèi)容如下：

http:host: 0.0.0.0cors:enabled: trueallow-origin: "*"
xpack:security:enabled: false

1.1.3 修改 Linux 的 vm.max_map_count

直接啟動后會報下面的異常

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

表示系統(tǒng)虛擬內(nèi)存默認最大映射數(shù)為65530，無法滿足ES系統(tǒng)要求，需要調(diào)整為262144以上。

修改方法如下：
查看 sysctl -a|grep vm.max_map_count
修改 sysctl -w vm.max_map_count=262144

1.2 創(chuàng)建運行

docker run  -itd \
--name es \
--privileged \
--network docker_net \
--ip 172.18.12.80 \
-p 9200:9200 \
-p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms4g -Xmx4g" \
-v /usr/local/software/elk/elasticsearch/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /usr/local/software/elk/elasticsearch/data:/usr/share/elasticsearch/data \
-v /usr/local/software/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
elasticsearch:7.17.7

容器創(chuàng)建并運行成功后，我們在瀏覽器里面訪問 虛擬機地址:9200，出現(xiàn)內(nèi)容表示運行成功。

1.3 ES 的分詞器

1.3.1 下載并上傳分詞器到 Linux 中

下載鏈接：https://github.com/medcl/elasticsearch-analysis-ik/releases
注意：需下載和 es 一致的版本，避免出錯。

上傳到 /usr/local/software/elk/plugins/目錄下。

1.3.2 拷貝分詞器插件到容器 ik 文件夾

[root@localhost plugins]# docker cp elasticsearch-analysis-ik-7.17.7.zip es:/usr/share/elasticsearch/plugins/ik

1.3.3 解壓分詞器

進入容器 ik 文件夾下面（沒有ik文件夾就手動創(chuàng)建），解壓插件。
解壓：

unzip elasticsearch-analysis-ik-7.17.7.zip

解壓完將壓縮包刪除，并記得重啟容器。

二、Kibana

2.1 安裝

安裝 Kibana 前需保證 ES 已經(jīng)運行成功。

2.1.1 拉取鏡像

docker pull kibana:7.17.7

注意版本盡量保持一致。

2.1.2 創(chuàng)建并運行容器

docker run -it \
--name kibana \
--privileged \
--network docker_net \
--ip 172.18.12.81 \
-e "ELASTICSEARCH_HOSTS=http://192.168.200.135:9200" \
-p 5601:5601 \
-d kibana:7.17.7

2.1.3 測試

瀏覽器打開 http://虛擬機地址:5601/ 成功進入即表示運行成功。

2.2 簡單使用

1. 打開 Dev Tools
   
2. 執(zhí)行查詢，可看到出現(xiàn)右面的數(shù)據(jù)
   

2.3 測試分詞器

2.3.1 標準分詞器

如上圖所示，標準分詞器對中文不太友好。

2.3.2 ES 分詞器

如上圖所示，es 分詞器對中文分詞好一點，但是還是不夠靈活。所以我們可以自定義一下 es 的分詞器詞典。

2.3.3 自定義 es 分詞器詞典

1. 進入 es 容器的 ik/config 目錄
   
2. 查看配置文件
   
   注意：ext_dict_my.dic 是我自定義的詞典文件，默認沒有。
3. 編寫自己的配置文件
   
4. 重啟容器，并測試 。

三、Logstash

3.1 安裝

3.1.1 拉取 logstash

[root@localhost ~]# docker pull logstash:7.17.7

3.1.2 創(chuàng)建容器

docker run -it \
--name logstash \
--privileged \
-p 5044:5044 \
-p 9600:9600 \
--network docker_net \
--ip 172.18.12.82 \
-v /etc/localtime:/etc/localtime \
-d logstash:7.17.7

3.2 容器配置

有三個配置文件，分別是


我們在宿主機創(chuàng)建一個 logstash 文件夾( /usr/local/software/elk/logstash)，將三個配置文件復(fù)制到這個目錄下，方便編輯。

logstash.yml

path.logs: /usr/share/logstash/logs
config.test_and_exit: false
config.reload.automatic: false
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.200.135:9200" ]

piplelines.xml

- pipeline.id: mainpath.config: "/usr/share/logstash/pipeline/logstash.conf"

logstash.conf

input {tcp {mode => "server"host => "0.0.0.0"port => 5044codec => json_lines}
}
filter{
}
output {elasticsearch {hosts => ["192.168.200.135:9200"]       #elasticsearch的ip地址 index => "elk"                          #索引名稱}stdout { codec => rubydebug }
}

修改完成后，將配置文件拷貝到容器相應(yīng)位置，并重啟容器。

3.3 釋放端口

 firewall-cmd --add-port=9600/tcp --permanent firewall-cmd --add-port=5044/tcp --permanentfirewall-cmd --reload

四、springboot 中使用 logstash

4.1 引入框架

<dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>7.3</version>
</dependency>

4.2 創(chuàng)建 logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志級別從低到高分為TRACE < DEBUG < INFO < WARN < ERROR < FATAL，如果設(shè)置為WARN，則低于WARN的信息都不會輸出 -->
<!-- scan:當此屬性設(shè)置為true時，配置文檔如果發(fā)生改變，將會被重新加載，默認值為true -->
<!-- scanPeriod:設(shè)置監(jiān)測配置文檔是否有修改的時間間隔，如果沒有給出時間單位，默認單位是毫秒。當scan為true時，此屬性生效。默認的時間間隔為1分鐘。 -->
<!-- debug:當此屬性設(shè)置為true時，將打印出logback內(nèi)部日志信息，實時查看logback運行狀態(tài)。默認值為false。 -->
<configuration scan="true" scanPeriod="10 seconds"><!--1. 輸出到控制臺--><appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"><!--此日志appender是為開發(fā)使用，只配置最低級別，控制臺輸出的日志級別是大于或等于此級別的日志信息--><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>DEBUG</level></filter><encoder><pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern><!-- 設(shè)置字符集 --><charset>UTF-8</charset></encoder></appender><!-- 2. 輸出到文件  --><appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><!--日志文檔輸出格式--><append>true</append><encoder><pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n</pattern><charset>UTF-8</charset> <!-- 此處設(shè)置字符集 --></encoder></appender><!--3. LOGSTASH config --><appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"><destination>192.168.200.135:5044</destination><encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"><!--自定義時間戳格式， 默認是yyyy-MM-dd'T'HH:mm:ss.SSS<--><timestampPattern>yyyy-MM-dd HH:mm:ss</timestampPattern><customFields>{"appname":"QueryApp"}</customFields></encoder></appender><root level="DEBUG"><appender-ref ref="CONSOLE"/><appender-ref ref="FILE"/><appender-ref ref="LOGSTASH"/></root>
</configuration>

注意這個地址，需配置 es 的地址。

文件存放位置

4.3 測試代碼

@Slf4j
@RestController
@RequestMapping("/api/query")
public class QueryController {@Autowiredprivate IBookDocService ibs;@GetMapping("/helloLog")public HttpResp helloLog(){List<BookDoc> all = ibs.findAll();log.debug("從es中查詢到的數(shù)據(jù)：{}",all);log.debug("我是來測試logstash是否工作的");return HttpResp.success(all.subList(0,10));}
}

4.4 Kibana 中查看

4.4.1 創(chuàng)建一個索引

put elk

elk 名稱是之前 logstash.conf 文件中配置的。

4.4.2 創(chuàng)建索引模式

執(zhí)行操作，如搜索。