引言

保險業(yè)務(wù)的數(shù)字化轉(zhuǎn)型正如火如荼地進行，產(chǎn)品線上化、投保線上化、承保線上化、核保線上化等業(yè)務(wù)轉(zhuǎn)型，導(dǎo)致系統(tǒng)的應(yīng)用范圍不斷擴大，用戶的高頻訪問也正在成為常態(tài)。同時，系統(tǒng)復(fù)雜性也呈指數(shù)上升，這些因素都增加了系統(tǒng)的穩(wěn)定性風險。

中國人壽將無侵入在線壓測作為防御穩(wěn)定性風險的重要手段，作為保險行業(yè)首家落地生產(chǎn)全鏈路壓測的企業(yè)，其實踐經(jīng)驗具有相當?shù)慕梃b意義。

作者介紹

中國人壽壽險研發(fā)中心高級工程師 熊軍軍

TakinTalks 穩(wěn)定性社區(qū)專家團成員，畢業(yè)于中國科學院自動化所，就職于中國人壽保險股份有限公司研發(fā)中心，先后從事產(chǎn)品研發(fā)、架構(gòu)設(shè)計、質(zhì)量管理工作，熟悉保險銷售管理及銷售支持業(yè)務(wù)，具備數(shù)據(jù)治理和高可用架構(gòu)設(shè)計經(jīng)驗?，F(xiàn)負責質(zhì)量中心測試公共能力團隊，著力建設(shè)質(zhì)量保障工具及平臺，助力提升信息系統(tǒng)穩(wěn)定性。

溫馨提醒：本文約 4800 字，預(yù)計花費 9 分鐘閱讀。

后臺回復(fù) “交流” 進入讀者交流群；回復(fù)“0216”獲取課件資料；

背景

作為中國領(lǐng)先的人壽保險公司，中國人壽不斷探索新的銷售模式轉(zhuǎn)型、加速數(shù)字化轉(zhuǎn)型。在數(shù)字化應(yīng)用加深的同時，中國人壽在業(yè)務(wù)場景、保障手段方面，也逐漸面臨較大挑戰(zhàn)：

● 從中國人壽壽險業(yè)務(wù)以往每年的長險出單、學平險的營銷活動效果來看，系統(tǒng)在面對高峰流量沖擊時的表現(xiàn)，仍有較大改善空間，尤其在容量規(guī)劃方面；

● 雖在研發(fā)流程中有性能測試環(huán)節(jié)，但更多聚焦在測試環(huán)境，而由于生產(chǎn)環(huán)境、測試環(huán)境的差異性，導(dǎo)致測試環(huán)境的壓測結(jié)果無法精準地還原真實業(yè)務(wù)狀況。生產(chǎn)環(huán)境出現(xiàn)性能瓶頸，進而引起用戶投訴的情況時有發(fā)生；

● 此前中國人壽壽險業(yè)務(wù)的穩(wěn)定性保障方式有待加強，原在線壓測技術(shù)對代碼有侵入，不易推廣；

針對以上問題，中國人壽壽險研發(fā)中心在穩(wěn)定性保障上做了較多落地實踐，在穩(wěn)定性測試層面，整體思路是在能力層建設(shè) 4 種能力——無侵入在線壓測能力、混沌工程故障演練能力、自動化測試能力、數(shù)字化測試管理能力，來實現(xiàn)保穩(wěn)定、提質(zhì)效、優(yōu)效能的目標。

而其中，保證生產(chǎn)部門穩(wěn)定是重中之重，無侵入在線壓測作為賦能生產(chǎn)部門最重要的手段，我將重點分享其在壽險研發(fā)中心落地的經(jīng)驗。

一、無侵入在線壓測有哪些建設(shè)目標？

1.1 原有壓測技術(shù)的局限性

在無侵入在線壓測落地之前，我們有兩類傳統(tǒng)的壓測手段——測試環(huán)境壓測、生產(chǎn)環(huán)境有侵入壓測，而這兩種壓測都有一定的局限性。

1.1.1 測試環(huán)境壓測

測試環(huán)境壓測的主要的問題是測試環(huán)境和生產(chǎn)環(huán)境不一致，包括：

● 程序不一致

● 配置不一致

● 數(shù)據(jù)不一致

● 操作人員不一致

1.1.2 生產(chǎn)環(huán)境有侵入壓測

生產(chǎn)環(huán)境的有侵入壓測是指生產(chǎn)環(huán)境通過修改源代碼來識別壓測流量，進而正確地路由壓測流量，保證壓測順利進行，而不污染生產(chǎn)環(huán)境。這個方法的主要影響有三點：

第一是不統(tǒng)一。各系統(tǒng)各自為戰(zhàn)，缺乏統(tǒng)一的標準，協(xié)作較困難。

第二是技術(shù)難共享。技術(shù)推廣的難度大，導(dǎo)致很難實現(xiàn)全鏈路在線壓測。想要真正了解業(yè)務(wù)流程的狀況，必須對其全鏈路做測試，否則風險隱患始終存在。隔三差五冒出問題來，這對整個技術(shù)團隊、業(yè)務(wù)團隊的影響都很大。

第三點是不安全。我們?nèi)狈y(tǒng)一的壓測安全管控措施，比如，壓測開關(guān)一旦出了問題能不能統(tǒng)一關(guān)掉？白名單是不是可以控制鏈路走向？壓測前的檢查、壓測中的資源監(jiān)控、壓縮后的數(shù)據(jù)檢查，都缺乏相應(yīng)的機制來保障。

1.2 在線壓測工作目標：“1+1+N"

無侵入在線壓測的工作目標可以用"1+1+N"來概括——1 個平臺、1 個流程、N 個場景。

1 個平臺——即要建設(shè)一個無侵入在線壓測平臺，能夠支持壽險技術(shù)中心在對源代碼無侵入的前提下開展壓測。

1 個流程——由于無侵入在線壓測的影響面非常大，關(guān)聯(lián)團隊非常多，涉及到開發(fā)團隊、測試團隊、部署團隊、生產(chǎn)保障團隊、網(wǎng)絡(luò)組、平臺組等等，如果缺乏統(tǒng)一的流程或是職責不清晰，輕則導(dǎo)致工作無法執(zhí)行，重則將造成生產(chǎn)事故，所以建立統(tǒng)一流程非常必要。

N 個場景——有了平臺和流程后，就可以基于此來支持壽險業(yè)務(wù) N 個場景的在線壓測，比如長險出單、短險出單、培訓(xùn)學習、APP 登錄、重大技改等等。比如信創(chuàng)對系統(tǒng)的改造等重大技改，大家非常樂意通過無侵入在線壓測的手段，在生產(chǎn)上驗證技改前后性能的變化情況，這也是比較重要的應(yīng)用場景。

二、如何搭建無侵入在線壓測“1 個平臺”？

2.1 平臺簡介

無侵入在線壓測平臺主要包括兩個模塊，壓測任務(wù)執(zhí)行模塊和壓測鏈路管理模塊。

壓測任務(wù)執(zhí)行模塊可以理解為一個云化的 JMeter，用來施加壓測流量。壓測鏈路管理模塊是基于業(yè)務(wù)應(yīng)用中的探針，管理被壓測的鏈路，來實現(xiàn)在線壓測。

工作原理及主要流程：

綠色箭頭所示的壓測流量，首先到達業(yè)務(wù)應(yīng)用 A，業(yè)務(wù)應(yīng)用 A 上的壓測探針識別壓測流量，然后把它寫入到影子庫、影子日志、影子 topic（這些影子存儲用來存儲保存壓測數(shù)據(jù)，并與正式業(yè)務(wù)數(shù)據(jù)隔離開），進而把它傳遞到業(yè)務(wù)應(yīng)用 B，業(yè)務(wù)應(yīng)用 B 進行業(yè)務(wù)處理后開始進入到影子庫，這樣就實現(xiàn)了整體壓測流量的路由。走著同樣的業(yè)務(wù)應(yīng)用通道，但是不影響正式庫和正式業(yè)務(wù)數(shù)據(jù)，這樣就達到了驗證正式業(yè)務(wù)鏈路性能的目的。

2.2 壓測探針

2.2.1 基本原理

壓測探針是整個無侵入在線壓測的核心部分，其基本原理是基于 Java 字節(jié)碼技術(shù)，它的核心是修改 JVM 中已加載的字節(jié)碼，在其中加入壓測流量處理邏輯，來實現(xiàn)壓測流量路由到正確的鏈路、寫入到影子存儲。注意，這里不是修改源碼，而是修改 JVM 里面已加載的源碼，以此來實現(xiàn)對源代碼和開發(fā)人員的無侵入。既不會造成源代碼的互相混淆，也不會因為代碼侵入造成更多新的問題。

2.2.2 操作對象

壓測的核心目的就是想把壓測流量進行路由，讓它進入到影子存儲，并和正式流量區(qū)分開，而流量的路由一般是通過特定的中間件來完成，比如 Tomcat, Redis, Kafka, Oracle 等，所以理論上需要且僅需要增強這些中間件即可，不需要去全面梳理所有業(yè)務(wù)代碼，這就使無侵入在線壓測的可行性大幅增加。

下圖簡要介紹了字節(jié)碼增強邏輯如何識別壓測流量并將該流量路由到壓測鏈路。

2.3 應(yīng)用管理

業(yè)務(wù)鏈路的基本單元是應(yīng)用，每一個安裝了壓測探針的應(yīng)用，都需在壓測前做好相關(guān)的配置，包括：遠程調(diào)用的接口，影子庫/表，影子消費者，影子日志、緩存、擋板等。

為什么需要做應(yīng)用配置？舉個例子，遠程調(diào)用的接口，為什么要配置白名單？假設(shè)這個應(yīng)用要調(diào)下游的某一個接口，則需要把它配置在白名單里，這是出于安全考慮。因為業(yè)務(wù)的形式是很復(fù)雜的，更換一個投保要素就會到另一條鏈路了，而另一條鏈路如果沒有安裝探針就會出現(xiàn)異常，所以我們通過白名單來確保不走到預(yù)期外的鏈路，進而保障業(yè)務(wù)安全。同理，配置影子庫、影子消費者、影子日志和緩存都有相關(guān)的技術(shù)考慮，主要是為了將正式數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)做隔離，擋板部分后面會繼續(xù)介紹。

2.4 鏈路管理

我們通常把一個完整的壓測鏈路逐層向下分解為業(yè)務(wù)流程、業(yè)務(wù)環(huán)節(jié)、業(yè)務(wù)活動、應(yīng)用，即一個壓測鏈路包括一個或多個業(yè)務(wù)流程，一個業(yè)務(wù)流程包括多個業(yè)務(wù)環(huán)節(jié)，依此類推。

以中國人壽壽險業(yè)務(wù)為例，“長險投?！边@個業(yè)務(wù)流程，包含登錄、選擇產(chǎn)品、填寫客戶信息、上傳投保單、核保、繳費等多個業(yè)務(wù)環(huán)節(jié)。其中，“登錄”這個業(yè)務(wù)環(huán)節(jié)，又包括查詢用戶狀態(tài)、校驗密碼等業(yè)務(wù)活動。每一個業(yè)務(wù)活動其實就是一個 API 的調(diào)用，每一個 API 的調(diào)用對應(yīng)著一個子鏈路，如下圖所示：

這個子鏈路涉及多個應(yīng)用，即一個 API 調(diào)用可能涉及多個應(yīng)用。上面我們已經(jīng)配置好應(yīng)用，包括應(yīng)用相關(guān)的存儲，這樣逐層就能把整個鏈路串起來，接下來就可以開始進行壓測了。

2.5 壓測執(zhí)行

在壓測執(zhí)行的過程中，我們提供了類似阿里 PTS 的全自動化的在線壓測能力，可以在線編輯腳本、設(shè)置線程組、設(shè)置壓測參數(shù)等。

壓測過程中可實時查看整體業(yè)務(wù)流程、單個業(yè)務(wù)活動的執(zhí)行情況，包括 TPS、響應(yīng)時間、成功率、資源利用率，以及告警和失敗請求信息等等。TPS、響應(yīng)時間、成功率等數(shù)據(jù)來自壓測引擎，資源利用率、告警和失敗請求信息則通過壓測探針傳到監(jiān)控模塊。

測試執(zhí)行、監(jiān)控、報告均為自動完成，實現(xiàn)一鍵完成自動化性能測試。

三、如何設(shè)計壓測的 “1 個流程”？

3.1 流程簡介

首先需要提到的是設(shè)計流程的原則，“安全優(yōu)先、嚴謹規(guī)范、統(tǒng)籌協(xié)作”。其中安全優(yōu)先是第一位，我們在設(shè)計任何一個具體技術(shù)方案時，永遠是考慮安全優(yōu)先，即使一個更安全的方案會導(dǎo)致工期延長一個月，我們也選擇這個方案。

在線壓測主要流程步驟包括：方案設(shè)計、鏈路梳理、環(huán)境準備、系統(tǒng)配置、鏈路調(diào)試和壓測實施等 6 個環(huán)節(jié)。

3.2 實踐難點

3.2.1 難點 1:壓測目標設(shè)定

壓測目標會有什么難度？其實還里面會有一些小技巧。在下圖中，黃色的線可以作為歷史的峰值承載量，藍色的線作為本次壓測的期望承載能力，比如，某次設(shè)定壓測的期望峰值是歷史峰值的兩倍，在鏈路壓測結(jié)果出來后，最短板應(yīng)用所能支撐的吞吐量在紅線的位置，它應(yīng)該高于藍色的線（期望承載能力）。

那是不是這樣就可以保障整個鏈路沒有問題呢？事實并非如此，因為鏈路上的某個業(yè)務(wù)環(huán)節(jié)可能出現(xiàn)擁擠，比如有時登錄環(huán)節(jié)會因為多種業(yè)務(wù)疊加（包括投保之外的業(yè)務(wù)）出現(xiàn)登錄擁擠，一旦出現(xiàn)這種情況就沒有辦法開展后續(xù)操作了，針對這種情況，就需要單獨對登錄環(huán)節(jié)做在線壓測，評估一個更高的值來滿足要求。所以在線壓測的目標有全流程的目標和單環(huán)節(jié)的目標。

3.2.2 難點 2:影子庫創(chuàng)建

在壓測過程中，有很大一部分工作量是在影子庫上，花費的時間遠超預(yù)期。主要有兩個問題，第一是如何創(chuàng)建影子庫，第二是準備多少鋪底數(shù)據(jù)。理想情況當然都是如上圖綠色部分，盡量符合實際業(yè)務(wù)情況，但在條件不具備的情況下，可以考慮用一些折中的辦法，比如可以新建一個數(shù)據(jù)庫實例，可以準備一定量級的數(shù)據(jù)，這個量級可以通過測試環(huán)境梯度壓測的方法來預(yù)先獲取。

3.2.3 難點 3:擋板 Mock

擋板有兩個作用，第一個作用是屏蔽不希望被執(zhí)行的業(yè)務(wù)。比如不希望發(fā)送短信，因為發(fā)短信這個環(huán)節(jié)出性能問題的風險較小，所以要把它屏蔽掉，這一塊就用入口擋板把它擋掉即可。

第二個作用“執(zhí)行希望被執(zhí)行的業(yè)務(wù)”相對比較難理解，舉個例子，保險業(yè)務(wù)中的影像審核，因為很難構(gòu)造符合真實情況的影像數(shù)據(jù)，所以測試業(yè)務(wù)流轉(zhuǎn)到這個環(huán)節(jié)，影像審核就會失敗，導(dǎo)致后面的環(huán)節(jié)就無法壓測了。此時，在“影像審核”應(yīng)用出口部分增加擋板，把審核結(jié)果改成正確即可解決。這樣好處是真實的壓測到了影像審核的業(yè)務(wù)邏輯，驗證了該應(yīng)用模塊的性能，同時又不阻斷整體壓測流程。此外，還需重點關(guān)注數(shù)據(jù)隔離，數(shù)據(jù)隔離是保障我們壓測安全的重要手段。

3.2.4 難點 4:風險預(yù)案制定

我們要保障安全壓測，必須要做相應(yīng)的風險預(yù)案，例如，對生產(chǎn)系統(tǒng)過載、探針影響正常業(yè)務(wù)以及業(yè)務(wù)數(shù)據(jù)被污染等情況，我們都制定了相應(yīng)的應(yīng)急預(yù)案，具體如下表。

四、重大業(yè)務(wù)“N 個場景”保障成效如何？

我認為主要有 3 個成效——

第一是能夠準確評估系統(tǒng)容量，做到重大業(yè)務(wù)活動心中有數(shù)。我們在線上實施了 9 次全鏈路壓測，涵蓋了長險投保、短險投保、用戶登錄、簽到、學習等等眾多業(yè)務(wù)場景，完成了各場景在生產(chǎn)環(huán)境的容量評估。下圖，可以準確看到各個場景的最大容量，讓我們很有信心地開展重大業(yè)務(wù)活動。

第二是能夠提前發(fā)現(xiàn)線上環(huán)境問題，保障業(yè)務(wù)系統(tǒng)穩(wěn)定運行。通過十多個子團隊（含部署）、技術(shù)處以及數(shù)據(jù)中心關(guān)聯(lián)團隊的協(xié)作，提前識別出生產(chǎn)壓測中的性能問題，避免了線上故障引發(fā)用戶投訴。

（部分鏈路中識別出的性能問題）

第三是可以真實地開展性能指標對比驗證，支持重大技改。下圖可以看到，測試前后以及優(yōu)化前后，性能都有大幅的提升，幫助重大技改后快速度過不穩(wěn)定期。

公眾號后臺回復(fù)【0216】獲取資料

回復(fù)【交流】進入讀者交流群

聲明：本文由公眾號「TakinTalks 穩(wěn)定性社區(qū)」聯(lián)合社區(qū)專家撰寫，并已獲授權(quán)整理發(fā)布，如需轉(zhuǎn)載，請公眾號后臺回復(fù)“轉(zhuǎn)載”獲得授權(quán)。