一、事件背景

正值"五一"黃金周旅游高峰期，某城商行的手機(jī)APP突然出現(xiàn)大面積交易失敗和嚴(yán)重卡頓現(xiàn)象。據(jù)初步統(tǒng)計(jì)，從上午10點(diǎn)開始APP的交易成功率從正常的99%驟降至75%左右，用戶反饋的交易失敗投訴量在短短2小時(shí)內(nèi)激增了500%。與此同時(shí)，APP的響應(yīng)時(shí)間也從平均2秒延長至8秒以上，導(dǎo)致大量用戶無法順利完成轉(zhuǎn)賬、支付等操作。

這一事故影響范圍不斷擴(kuò)大，截至中午12點(diǎn)已有超過50萬用戶受到不同程度的影響，其中約20萬用戶完全無法使用APP進(jìn)行任何交易操作。

二、定位問題根源

首先，運(yùn)維團(tuán)隊(duì)利用銀行現(xiàn)有的APM(應(yīng)用性能管理)工具對整個(gè)交易鏈路進(jìn)行全面監(jiān)控。通過分析交易鏈路上各個(gè)節(jié)點(diǎn)的響應(yīng)時(shí)間，發(fā)現(xiàn)多個(gè)核心系統(tǒng)服務(wù)的處理時(shí)間都出現(xiàn)了明顯的延長。

其次，使用鏈路追蹤進(jìn)行深入分析。通過對大量失敗交易的調(diào)用鏈進(jìn)行采樣和分析，注意到一個(gè)共同特征：絕大多數(shù)超時(shí)或失敗的交易都在訪問支付結(jié)算業(yè)務(wù)的相關(guān)微服務(wù)時(shí)出現(xiàn)了異常，這個(gè)發(fā)現(xiàn)將故障的范圍初步縮小。

為了進(jìn)一步確認(rèn)根因，團(tuán)隊(duì)使用了日志分析工具(如ELK stack)對系統(tǒng)日志進(jìn)行了深入挖掘。通過設(shè)置關(guān)鍵字過濾和時(shí)間范圍篩選，發(fā)現(xiàn)在支付結(jié)算業(yè)務(wù)相關(guān)微服務(wù)的MQ(消息隊(duì)列)網(wǎng)關(guān)中出現(xiàn)了大量的錯(cuò)誤日志，這些日志顯示MQ網(wǎng)關(guān)在處理消息時(shí)頻繁出現(xiàn)超時(shí)和連接斷開的情況。

初步判斷問題可能出在以下兩個(gè)方面

1. 支付結(jié)算業(yè)務(wù)的相關(guān)微服務(wù)處于各系統(tǒng)交互鏈路的下游，可能成為整個(gè)交易流程的瓶頸。

2. 支付結(jié)算業(yè)務(wù)的相關(guān)微服務(wù)相關(guān)的MQ網(wǎng)關(guān)存在異常，導(dǎo)致消息處理出現(xiàn)問題。

經(jīng)過進(jìn)一步縮小范圍推測，可能是由于假期期間交易量激增，導(dǎo)致支付結(jié)算業(yè)務(wù)的相關(guān)微服務(wù)和MQ網(wǎng)關(guān)無法承受如此大的并發(fā)壓力，從而引發(fā)了整個(gè)系統(tǒng)的連鎖反應(yīng)。

應(yīng)急處置

為了緩解系統(tǒng)壓力，運(yùn)維團(tuán)隊(duì)決定臨時(shí)提高支付結(jié)算業(yè)務(wù)相關(guān)微服務(wù)的資源配置。通過云平臺的彈性伸縮功能，將服務(wù)器的CPU核心數(shù)進(jìn)行擴(kuò)展。同時(shí)，增加了數(shù)據(jù)庫連接池的最大連接數(shù)，從原來的200提升到500,以應(yīng)對高并發(fā)情況。

其次，針對MQ網(wǎng)關(guān)的問題，團(tuán)隊(duì)采取了以下措施：

1. 增加MQ服務(wù)器節(jié)點(diǎn),從原有的3個(gè)節(jié)點(diǎn)擴(kuò)展到6個(gè)節(jié)點(diǎn),以分散消息處理壓力。

2. 調(diào)整MQ的消息處理策略,將部分非關(guān)鍵消息的處理優(yōu)先級降低,確保核心業(yè)務(wù)消息能夠優(yōu)先處理。

3. 優(yōu)化MQ網(wǎng)關(guān)的錯(cuò)誤重試機(jī)制,將原本的固定間隔重試改為指數(shù)退避算法,以避免在網(wǎng)絡(luò)波動時(shí)造成的大量無效重試。

除此之外，運(yùn)維團(tuán)隊(duì)還部署更為細(xì)致的監(jiān)控措施:

1. 在支付結(jié)算業(yè)務(wù)的相關(guān)微服務(wù)服務(wù)器上部署了專門的資源監(jiān)控agent,實(shí)時(shí)監(jiān)控CPU使用率、內(nèi)存占用、I/O等待時(shí)間等關(guān)鍵指標(biāo)。

2. 對MQ網(wǎng)關(guān)增加了消息堆積量、消息處理延遲時(shí)間等特定指標(biāo)的監(jiān)控。

3. 在應(yīng)用層面,增加了更多的日志埋點(diǎn),特別是在與支付結(jié)算業(yè)務(wù)的相關(guān)微服務(wù)和MQ交互的關(guān)鍵節(jié)點(diǎn),以便更快速地定位潛在問題。

隨著這些措施的實(shí)施,系統(tǒng)性能開始逐步恢復(fù)，支付結(jié)算業(yè)務(wù)相關(guān)微服務(wù)的平均查詢時(shí)間從原本的500ms降低到了150ms以下，MQ網(wǎng)關(guān)的消息處理成功率從85%提升到了99%以上。APP的整體交易成功率在處置措施實(shí)施后的2小時(shí)內(nèi)逐漸回升到了95%,響應(yīng)時(shí)間也恢復(fù)到了正常水平。

三、擎創(chuàng)建議

根據(jù)上述案例，擎創(chuàng)認(rèn)為在一些特殊時(shí)期,系統(tǒng)的承載能力預(yù)估不足是導(dǎo)致此次事故的根本原因。因此，從整體來看需要：

1. 建立更加完善的容量規(guī)劃模型

結(jié)合歷史數(shù)據(jù)和機(jī)器學(xué)習(xí)算法，更準(zhǔn)確地預(yù)測未來的業(yè)務(wù)增長和系統(tǒng)負(fù)載。

2. 優(yōu)化系統(tǒng)的彈性伸縮機(jī)制，實(shí)現(xiàn)更快速、更智能的資源動態(tài)調(diào)配。

3.相關(guān)業(yè)務(wù)系統(tǒng)方面

1） 重構(gòu)訪問邏輯,將非實(shí)時(shí)查詢需求轉(zhuǎn)移到專門的數(shù)據(jù)倉庫中,減輕主支付結(jié)算業(yè)務(wù)的相關(guān)微服務(wù)的壓力。

2）引入分布式緩存系統(tǒng)(如Redis集群),緩存熱點(diǎn)數(shù)據(jù),減少對支付結(jié)算業(yè)務(wù)的相關(guān)微服務(wù)的直接訪問。

3）實(shí)施數(shù)據(jù)分片策略,根據(jù)業(yè)務(wù)特性將歷史數(shù)據(jù)分散到多個(gè)物理節(jié)點(diǎn),提高并行處理能力。

4.MQ網(wǎng)管方面

1）升級MQ系統(tǒng),選用更高性能、更強(qiáng)大的消息中間件。

2）優(yōu)化消息路由策略,實(shí)現(xiàn)更智能的負(fù)載均衡。

3）建立消息處理的降級機(jī)制,在系統(tǒng)壓力過大時(shí)能夠自動啟動輕量級處理模式。

5.監(jiān)控和預(yù)警方面

1）引入更先進(jìn)的AIOps平臺,利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)更精準(zhǔn)的異常檢測和根因分析。

2）建立端到端的全鏈路監(jiān)控體系,實(shí)現(xiàn)從用戶端到后臺系統(tǒng)的全面可觀測性。

3）優(yōu)化告警策略,實(shí)現(xiàn)更精準(zhǔn)的告警觸發(fā)和自動化的事件關(guān)聯(lián)分析。

6.應(yīng)急響應(yīng)機(jī)制方面

1）建立更完善的應(yīng)急預(yù)案庫,針對不同類型的故障制定詳細(xì)的處置流程。

2）強(qiáng)化跨部門協(xié)作機(jī)制,提高應(yīng)急響應(yīng)的效率和協(xié)同性。

3）定期組織大規(guī)模的故障演練,提高團(tuán)隊(duì)的實(shí)戰(zhàn)能力。

通過這次事故，可以看出在業(yè)務(wù)快速發(fā)展的金融科技時(shí)代，系統(tǒng)的穩(wěn)定性和可擴(kuò)展性至關(guān)重要。將每一次的事故經(jīng)驗(yàn)轉(zhuǎn)化為推動技術(shù)革新的動力，全面提升IT基礎(chǔ)設(shè)施的現(xiàn)代化水平，為用戶提供更加穩(wěn)定、高效的金融服務(wù)，是當(dāng)下金融行業(yè)的使命之一。

擎創(chuàng)正不斷深入優(yōu)化金融智能運(yùn)維解決方案，希望能夠與更多行業(yè)客戶攜手，打造數(shù)智化的運(yùn)維平臺，為業(yè)務(wù)運(yùn)營保駕護(hù)航！

擎創(chuàng)科技，Gartner連續(xù)推薦的AIOps領(lǐng)域標(biāo)桿供應(yīng)商。公司專注于通過提升企業(yè)客戶對運(yùn)維數(shù)據(jù)的洞見能力，為運(yùn)維降本增效，充分體現(xiàn)科技運(yùn)維對業(yè)務(wù)運(yùn)營的影響力。

?行業(yè)龍頭客戶的共同選擇

了解更多運(yùn)維干貨與行業(yè)前沿動態(tài)

可以右上角一鍵關(guān)注

我們是深耕智能運(yùn)維領(lǐng)域近十年的

連續(xù)多年獲Gartner推薦的AIOps標(biāo)桿供應(yīng)商

下期我們不見不散~