導(dǎo)讀

深信服科技股份有限公司

簡(jiǎn)稱「深信服」（ Sangfor Technologies Inc. ），是一家領(lǐng)先的網(wǎng)絡(luò)安全和云計(jì)算解決方案提供商，致力于為全球客戶提供高效、智能、安全的網(wǎng)絡(luò)和云服務(wù)。隨著公司業(yè)務(wù)的不斷擴(kuò)展，也面臨著監(jiān)控和故障定位方面的挑戰(zhàn)。本文將介紹深信服如何借助觀測(cè)云實(shí)現(xiàn)全鏈路可觀測(cè)性，提高運(yùn)維效率和安全性。

案例亮點(diǎn)

• 大型門戶網(wǎng)站可觀測(cè)最佳實(shí)踐
• 借助觀測(cè)云實(shí)現(xiàn) APM、RUM、基礎(chǔ)設(shè)施、日志、撥測(cè)等全功能一體化全鏈路可觀測(cè)體驗(yàn)
• 優(yōu)化網(wǎng)頁(yè)卡頓問(wèn)題，大幅提升用戶體驗(yàn)

簡(jiǎn)單介紹一下貴公司

深信服科技股份有限公司是一家專注于企業(yè)級(jí)網(wǎng)絡(luò)安全、云計(jì)算、IT基礎(chǔ)設(shè)施與物聯(lián)網(wǎng)的產(chǎn)品和服務(wù)供應(yīng)商，在全球設(shè)有 50 余個(gè)分支機(jī)構(gòu)，公司先后被評(píng)為國(guó)家級(jí)高新技術(shù)企業(yè)、中國(guó)軟件和信息技術(shù)服務(wù)綜合競(jìng)爭(zhēng)力百?gòu)?qiáng)企業(yè)、下一代互聯(lián)網(wǎng)信息安全技術(shù)國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室、廣東省智能云計(jì)算工程技術(shù)研究中心等。 一直以來(lái)，深信服十分重視研發(fā)和創(chuàng)新，并堅(jiān)持以“持續(xù)創(chuàng)新”的理念，全情投入為用戶打造省心便捷的產(chǎn)品，獲得了市場(chǎng)的廣泛認(rèn)可。目前，超過(guò) 10 萬(wàn)家企業(yè)級(jí)用戶正在使用深信服的產(chǎn)品。

當(dāng)前面臨的挑戰(zhàn)

深信服的核心業(yè)務(wù)涵蓋了網(wǎng)絡(luò)安全、云計(jì)算、云服務(wù)和 IT 基礎(chǔ)設(shè)施等多個(gè)領(lǐng)域。使用的監(jiān)控工具有：云平臺(tái)上的自有云監(jiān)控和 Zibbix、Prometheus、Grafana 等開(kāi)源自建的監(jiān)控體系。隨著客戶數(shù)量的增加和業(yè)務(wù)復(fù)雜性的提高，他們面臨以下挑戰(zhàn)：

• 監(jiān)控復(fù)雜性：公司的業(yè)務(wù)涉及多個(gè)層面，包括網(wǎng)絡(luò)、云服務(wù)、應(yīng)用程序等，需要一個(gè)全面的監(jiān)控系統(tǒng)來(lái)實(shí)時(shí)追蹤各個(gè)層面的性能和狀態(tài)。
• 性能問(wèn)題難定位：當(dāng)出現(xiàn)性能問(wèn)題或故障時(shí)，需要能夠快速準(zhǔn)確地定位問(wèn)題的根本原因，以便及時(shí)采取措施解決問(wèn)題。
• 團(tuán)隊(duì)生產(chǎn)力：每次出現(xiàn)故障時(shí)需要拉起開(kāi)發(fā)、運(yùn)維、測(cè)試協(xié)作排查，偶現(xiàn)的故障很難復(fù)現(xiàn)，團(tuán)隊(duì)生產(chǎn)協(xié)作效率低下。

為什么選擇觀測(cè)云

在與市面上的可觀測(cè)性產(chǎn)品對(duì)比以及和觀測(cè)云團(tuán)隊(duì)深入交流之后，決定選擇觀測(cè)云 POC 測(cè)試。在 POC 測(cè)試期間，觀測(cè)云產(chǎn)品表現(xiàn)出色。我們能夠更好地了解系統(tǒng)的狀態(tài)，快速定位問(wèn)題，并采取措施解決。觀測(cè)云的綜合性能監(jiān)控和安全監(jiān)控功能為我們的運(yùn)維團(tuán)隊(duì)提供了強(qiáng)大的工具，幫助我們確保系統(tǒng)的穩(wěn)定性和安全性。我們期待將觀測(cè)云集成到我們更多的系統(tǒng)和環(huán)境中，以持續(xù)提高我們的監(jiān)控和安全性能。

觀測(cè)云使用現(xiàn)狀

截止目前，已經(jīng)接入了 3 大 Kubernetes 集群，涉及 7 個(gè) S 級(jí)項(xiàng)目和應(yīng)用。主要接入的語(yǔ)言和框架有 Java、PHP、.NET、Python、Nuxt.js、Vue.js 等，同時(shí)還涵蓋了 API 網(wǎng)關(guān)、數(shù)據(jù)庫(kù)、消息隊(duì)列等中間件產(chǎn)品。覆蓋了平臺(tái)的 APM、RUM、日志、監(jiān)控、撥測(cè)、儀表盤、DataFlux Function 等絕大部分功能?；谀壳傲己玫氖褂皿w驗(yàn)，未來(lái)還會(huì)逐步增加其他應(yīng)用數(shù)據(jù)接入。

成功案例

借助觀測(cè)云實(shí)現(xiàn)真正意義上的全鏈路可觀測(cè)

在一個(gè)相對(duì)復(fù)雜的系統(tǒng)中，一個(gè)前端的接口請(qǐng)求會(huì)經(jīng)過(guò)很多的服務(wù)和中間件，比如我們其中的一個(gè)系統(tǒng)，由前端發(fā)起的 HTTPS 請(qǐng)求，經(jīng)過(guò) Nginx 路由到網(wǎng)關(guān)服務(wù)，網(wǎng)關(guān)服務(wù)到后端服務(wù) A 再調(diào)用服務(wù) B，期間還會(huì)調(diào)用 Redis、Kafka、MySQL 等中間件。整個(gè)調(diào)用的鏈路較為復(fù)雜，所以我們的基本訴求就是能夠?qū)崿F(xiàn)完整的全鏈路可觀測(cè)性，其次出現(xiàn)故障的時(shí)候，能夠有足夠的上下文信息來(lái)定位故障。

觀測(cè)云提供全鏈路可觀測(cè)的能力，可以將前端、網(wǎng)關(guān)、Nginx、后端服務(wù)、中間件等整條鏈路的信息通過(guò)一個(gè) trace_id 全部串起來(lái)，這樣做的好處是不管哪里出現(xiàn)故障可以快速定位到具體的服務(wù)或中間件。下圖為服務(wù)鏈路拓?fù)鋱D，可以查看整個(gè)鏈路的調(diào)用情況，點(diǎn)擊任一服務(wù)的圖標(biāo)可以進(jìn)入該服務(wù)的鏈路調(diào)用詳情列表，從而實(shí)現(xiàn)快速排障。

同時(shí)也可以在日志上注入 trace_id、span_id 等信息，這樣可以實(shí)現(xiàn)調(diào)用鏈和日志關(guān)聯(lián)，在出現(xiàn)故障的服務(wù)鏈路中可以快速跳轉(zhuǎn)至相關(guān)聯(lián)的日志，查詢?nèi)罩镜纳舷挛?#xff0c;從而實(shí)現(xiàn) RUM-APM-LOG 全鏈路監(jiān)測(cè)與聯(lián)動(dòng)分析。

傳統(tǒng)的 APM 監(jiān)測(cè)工具都無(wú)法保留接口調(diào)用的參數(shù)，在排查故障的時(shí)候，研發(fā)和運(yùn)維往往需要當(dāng)時(shí)接口故障時(shí)請(qǐng)求的實(shí)際參數(shù)來(lái)推測(cè)復(fù)現(xiàn)故障過(guò)程，這類上下文信息對(duì)我們推廣全鏈路可觀測(cè)性平臺(tái)非常重要。但是如果把所有請(qǐng)求接口的參數(shù)都進(jìn)行保留，產(chǎn)生的數(shù)據(jù)量又非常大，而且一般我們只關(guān)注非 200 狀態(tài)的接口信息。觀測(cè)云提供的 Pipeline 能力，可以很好的對(duì)日志進(jìn)行解析并過(guò)濾掉不需要的日志，我們將接口的 payload 信息打印至 Nginx 日志，并且通過(guò) Pipeline 進(jìn)行判斷只采集非 200 狀態(tài)的 payload，從而很好的支撐我們故障排查時(shí)的訴求。

官網(wǎng)借助觀測(cè)云能力優(yōu)化頁(yè)面卡頓問(wèn)題

在沒(méi)有接入觀測(cè)云之前，官網(wǎng)存在較為嚴(yán)重的卡頓現(xiàn)象，嚴(yán)重影響用戶體驗(yàn)。但是沒(méi)有具體可量化的數(shù)據(jù)，不知道哪里慢了，也就無(wú)從下手去優(yōu)化。我們將官網(wǎng)前后端接入觀測(cè)云 RUM 和 APM 之后，可以通過(guò)觀測(cè)云查看當(dāng)前性能情，就可以很直觀的查看出是哪些接口耗時(shí)長(zhǎng)，哪些頁(yè)面加載慢。

發(fā)現(xiàn)了問(wèn)題是第一步，接下來(lái)該怎樣解決問(wèn)題。為了解決性能問(wèn)題，從如下幾個(gè)方面著手：

1、每天在平臺(tái)上抓取一部分慢接口讓開(kāi)發(fā)團(tuán)隊(duì)優(yōu)化，可以查看具體的鏈路，根據(jù)這條 trace 信息可以定位到是哪些 span 耗時(shí)長(zhǎng)?？赡苁?SQL 語(yǔ)句、也可能是自身業(yè)務(wù)代碼邏輯等等，根據(jù)定位到的信息再去優(yōu)化。
2、在平臺(tái)用戶行為分析查看 LCP 指標(biāo)，針對(duì) LCP 加載時(shí)間長(zhǎng)的頁(yè)面進(jìn)行著重優(yōu)化。
3、創(chuàng)建自定義撥測(cè)任務(wù)，全面監(jiān)測(cè)不同地區(qū)到官網(wǎng)地址的網(wǎng)絡(luò)性能、網(wǎng)絡(luò)質(zhì)量、網(wǎng)絡(luò)數(shù)據(jù)傳輸穩(wěn)定性等狀況。

在優(yōu)化了一段時(shí)間之后，發(fā)現(xiàn)到達(dá)一個(gè)瓶頸期。大部分接口耗時(shí)下去了，但是前端耗時(shí)還是較為嚴(yán)重，有很多的 longtask 和 error 數(shù)據(jù)。后來(lái)邀請(qǐng)了觀測(cè)云的前端技術(shù)專家專門做了一期 RUM 知識(shí)培訓(xùn)和官網(wǎng)系統(tǒng)診斷，于是又找到了前端的優(yōu)化方向，具體的優(yōu)化點(diǎn)有：

1、通過(guò)觀測(cè)云，先看阻塞了頁(yè)面渲染的文件,試用以下條件搜索，查找出阻塞頁(yè)面渲染的文件

如果對(duì)業(yè)務(wù)非常重要的資源，改為內(nèi)聯(lián)的方式，而非外部腳本；如果對(duì)業(yè)務(wù)不敏感的資源，可以選擇 defer 加載或者延遲加載，即腳本放在 body 的后面，加屬性 defer 或者 async，防止阻塞頁(yè)面渲染。

2、網(wǎng)站資源加載的瀑布圖

從圖中可以得知，首頁(yè)資源加載多，加載存在延遲，占比約 50% ，累計(jì)導(dǎo)致體感慢，弱網(wǎng)環(huán)境尤為明顯。

具體優(yōu)化思路為：先整體優(yōu)化資源加載；優(yōu)化資源加載中的瓶頸；減少資源體積或者壓縮代碼；減少資源重復(fù)加載等等。

總之，性能優(yōu)化從來(lái)不是一蹴而就的事情，是一個(gè)循序漸進(jìn)的過(guò)程。在優(yōu)化的過(guò)程中，我們也借助觀測(cè)云 RUM 監(jiān)控發(fā)現(xiàn)了很多開(kāi)發(fā)和測(cè)試過(guò)程中的問(wèn)題，這樣也能提高整個(gè)團(tuán)隊(duì)的認(rèn)知和對(duì)代碼的嚴(yán)謹(jǐn)度，受益頗多。

通過(guò) APISIX 可觀測(cè)性實(shí)現(xiàn)快速排障

APISIX 作為南北向流量 API 網(wǎng)關(guān)，承載著從客戶端到服務(wù)端的全部流量。如果可以實(shí)現(xiàn)針對(duì) APISIX 可觀測(cè)性，那么可以實(shí)現(xiàn)很快速的定位到故障。觀測(cè)云支持 APISIX 的數(shù)據(jù)接入，APISIX 的 Trace、Logging、Metric 數(shù)據(jù)可以通過(guò)插件的方式上報(bào)至 DataKit 及觀測(cè)云平臺(tái)，從而實(shí)現(xiàn) APISIX 的可觀測(cè)性。

種類	接入方式（插件）
Trace	opentelemetry 插件，可用于根據(jù)?OpenTelemetry specification?協(xié)議規(guī)范上報(bào) Tracing 數(shù)據(jù)。
Logging	file-logger 插件，可用于將日志數(shù)據(jù)存儲(chǔ)到指定位置。console 輸出方式，修改訪問(wèn)日志格式 access_logger_format
Metric	prometheus 插件，以規(guī)定的格式上報(bào)指標(biāo)到 Prometheus 中。

在集成 APISIX 的 Trace、Logging、Metric 數(shù)據(jù)上報(bào)之后，開(kāi)發(fā)人員和運(yùn)維團(tuán)隊(duì)更好地了解和監(jiān)控其應(yīng)用程序的行為，帶來(lái)的好處有：

1、快速的問(wèn)題分析和故障排除。
2、根據(jù) Metric 和 Trace 等信息進(jìn)行有效的性能優(yōu)化。
3、配置相應(yīng)的監(jiān)控告警規(guī)則，當(dāng)有流量異常時(shí)可以盡早識(shí)別并擴(kuò)縮容。

作者｜深信服運(yùn)維技術(shù)專家 ——何智杰
觀測(cè)云技術(shù)客戶經(jīng)理——楊文偉