湛江有沒有做網(wǎng)站的關鍵詞seo培訓
前言
公司采用ELK架構搜集業(yè)務系統(tǒng)的運行日志,以前開發(fā)人員只有在業(yè)務出現(xiàn)問題的時候,才會去kibana上進行日志搜索操作,每次都是被用戶告知系統(tǒng)出問題了,這簡直是被啪啪打臉~
于是痛定思痛,決定主動出擊,查閱了許多資料,發(fā)現(xiàn)ElastAlert這個服務能夠?qū)lasticsearch的索引按條件進行監(jiān)控,并在匹配設置的條件時自動觸發(fā)告警,于是決定采用ElastAlert。
重新build ElastAlert2鏡像
由于官方的鏡像中不包含飛書通知方式,因此我們需要重新打包鏡像;
分別下載ElastAlert2和elastalert-feishu-plugin源碼
源碼下載地址:
https://github.com/jertel/elastalert2
https://github.com/gpYang/elastalert-feishu-plugin
拷貝elastalert-feishu-plugin中的elastalert_modules目錄到ElastAlert2的根目錄下,目錄結(jié)構如圖:
切換到ElastAlert2目錄下,編寫Dockerfile文件
FROM python:3-slim-buster as builderLABEL description="ElastAlert 2 Official Image"
LABEL maintainer="Jason Ertel"COPY . /tmp/elastalertRUN mkdir -p /opt/elastalert && \
cd /tmp/elastalert && \
pip install setuptools wheel && \
python setup.py sdist bdist_wheelFROM python:3-slim-buster
ARG GID=1000
ARG UID=1000
ARG USERNAME=elastalert
COPY --from=builder /tmp/elastalert/dist/*.tar.gz /tmp/RUN apt update && apt -y upgrade && \apt -y install jq curl gcc libffi-dev && \rm -rf /var/lib/apt/lists/* && \pip install /tmp/*.tar.gz && \rm -rf /tmp/* && \apt -y remove gcc libffi-dev && \apt -y autoremove && \mkdir -p /opt/elastalert && \mkdir -p /usr/local/lib/python3.10/site-packages/elastalert/elastalert_modules && \echo "#!/bin/sh" >> /opt/elastalert/run.sh && \echo "set -e" >> /opt/elastalert/run.sh && \echo "elastalert-create-index --config /opt/elastalert/config.yaml" \>> /opt/elastalert/run.sh && \echo "elastalert --config /opt/elastalert/config.yaml \"\$@\"" \>> /opt/elastalert/run.sh && \chmod +x /opt/elastalert/run.sh && \groupadd -g ${GID} ${USERNAME} && \useradd -u ${UID} -g ${GID} -M -b /opt -s /sbin/nologin \-c "ElastAlert 2 User" ${USERNAME}COPY ./elastalert_modules/feishu_alert.py /usr/local/lib/python3.10/site-packages/elastalert/elastalert_modules/COPY ./elastalert_modules/__init__.py /usr/local/lib/python3.10/site-packages/elastalert/elastalert_modules/USER ${USERNAME}ENV TZ ""Asia/Shanghai""WORKDIR /opt/elastalert
ENTRYPOINT ["/opt/elastalert/run.sh"]
構建鏡像
docker build -t elastalertfs:1.0 .
我們在物理機上創(chuàng)建/data/elastalertfs目錄,存放配置文件和報警規(guī)則目錄及文件
在/data/elastalertfs下編寫elastalert的配置文件config.yaml
#指定告警文件存放目錄
rules_folder: /opt/elastalert/rules#ElastAlert查詢Elasticsearch的頻率,這個單位可以是幾周到幾秒不等
run_every:minutes: 1#ElastAlert將緩沖最近的一段時間的結(jié)果,以防某些日志源不是實時的
buffer_time:minutes: 30#Elasticsearch主機
es_host: 192.168.105.147#Elasticsearch端口
es_port: 9200#es_host上的索引,用于元數(shù)據(jù)存儲。這可以是一個未映射的索引,但建議你運行。設置一個映射
writeback_index: elastalert_status#如果一個警報因某種原因而失敗,ElastAlert將重試,直到這個時間段過后
alert_time_limit:days: 2
在/data/elastalertfs下創(chuàng)建rules目錄,在目錄內(nèi)創(chuàng)建報警規(guī)則文件xxx-xxx_error.yaml,可以在該目錄下創(chuàng)建多個報警規(guī)則文件,注意修改index名稱、過濾條件、飛書機器人botid等;
name: "niu_cloud_rule"
type: "any" // 有多種類型,不同的類型配置項有不同
index: "niu-cloud-logs-*"
is_enabled: true#時間觸發(fā)的次數(shù)
#num_events: 1#和num_events參數(shù)關聯(lián),1分鐘內(nèi)出現(xiàn)1次會報警
#timeframe:
# minutes: 1#同一規(guī)則的兩次警報之間的最短時間。在此時間內(nèi)發(fā)生的任何警報都將被丟棄。默認值為一分鐘。
#realert:
# minutes: 0#terms_size: 50use_strftime_index: truefilter:
- query:query_string:query: "level.keyword : ERROR AND msg : java*Exception" //錯誤級別是ERROR并且msg字段包含java開頭Exception結(jié)尾的內(nèi)容就匹配成功,elastalert就會推送報警include: ["@timestamp","_index", "module", "level", "msg"] // 這里是es索引中的字段,下邊報警模板會使用alert:
- "elastalert_modules.feishu_alert.FeishuAlert"# 飛書機器人接口地址
feishualert_url: "https://open.feishu.cn/open-apis/bot/v2/hook/"# 飛書機器人id
feishualert_botid: "xxxxxx-xxx-xxxx-xxxx-xxxxxxxxxxx"# 告警標題
feishualert_title: "niu-cloud業(yè)務ERROR異常"# 這個時間段內(nèi)的匹配將不告警,適用于某些時間段請求低谷避免誤報警
#feishualert_skip:
# start: "01:00:00"
# end: "08:00:00"# 告警內(nèi)容,使用{}可匹配matches
feishualert_body:
"
【告警主題】: {feishualert_title}\n
【告警時間】: {feishualert_time}\n
【告警模塊】: {module}\n
【業(yè)務索引】: {_index}\n
【時間戳】: {@timestamp}\n
【日志級別】: {level}\n
【錯誤日志】: {msg}
"
docker方式運行并掛載配置目錄
docker run -d --restart=always --name elastalertfs -v /data/elastalertfs/config.yaml:/opt/elastalert/config.yaml -v /data/elastalertfs/rules:/opt/elastalert/rules -v /etc/localtime:/etc/localtime elastalertfs:v1.0
當elastalert監(jiān)控es匹配到規(guī)則中配置的規(guī)則是就會自動向飛書推送報警消息