壓力測(cè)試：

通常指的是確定接口或服務(wù)能夠處理的最大請(qǐng)求量（吞吐量）和并發(fā)用戶(hù)數(shù)，同時(shí)保持合理的響應(yīng)時(shí)間和穩(wěn)定性。

性能目標(biāo)

• 最大吞吐量：系統(tǒng)每秒可以處理的請(qǐng)求數(shù)。
• 最大并發(fā)用戶(hù)數(shù)：系統(tǒng)可以同時(shí)支持的用戶(hù)數(shù)。
• 響應(yīng)時(shí)間：系統(tǒng)響應(yīng)請(qǐng)求的時(shí)間。
• 穩(wěn)定性和可靠性：在高負(fù)載下系統(tǒng)的穩(wěn)定性。

QPS( Queries Per Second，即每秒查詢(xún)數(shù))

在進(jìn)行性能測(cè)試時(shí)，通常會(huì)逐步增加并發(fā)用戶(hù)數(shù)（或請(qǐng)求頻率），以便找到接口或系統(tǒng)的最大QPS值。這個(gè)過(guò)程中，您會(huì)觀(guān)察到系統(tǒng)的響應(yīng)時(shí)間和請(qǐng)求失敗率隨著并發(fā)量的增加而變化。確定QPS的最大值通常涉及到平衡性能指標(biāo)和系統(tǒng)的穩(wěn)定性。

如何確定QPS的最大值

1. 響應(yīng)時(shí)間：隨著請(qǐng)求量的增加，響應(yīng)時(shí)間可能會(huì)增長(zhǎng)。您需要確定一個(gè)可接受的最大響應(yīng)時(shí)間閾值。當(dāng)響應(yīng)時(shí)間超過(guò)這個(gè)閾值時(shí)，即使系統(tǒng)還能處理更多請(qǐng)求，也不應(yīng)該繼續(xù)增加負(fù)載。
2. 錯(cuò)誤率：隨著負(fù)載的增加，錯(cuò)誤率（包括超時(shí)、5XX狀態(tài)碼等）可能會(huì)上升。通常，您需要設(shè)定一個(gè)錯(cuò)誤率閾值（例如1%），當(dāng)錯(cuò)誤率超過(guò)這個(gè)閾值時(shí)，可以認(rèn)為已經(jīng)達(dá)到了系統(tǒng)的性能極限。
3. 資源利用率：監(jiān)控系統(tǒng)的資源利用率（如CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等）也很重要。資源飽和可能導(dǎo)致性能下降和錯(cuò)誤率上升。資源利用率接近或達(dá)到100%通常意味著接近系統(tǒng)極限。

綜上考慮確定最大QPS：當(dāng)響應(yīng)時(shí)間超過(guò)預(yù)定閾值、錯(cuò)誤率升高或資源利用率達(dá)到飽和時(shí)，即認(rèn)為找到了系統(tǒng)的最大QPS。這是系統(tǒng)在保持良好性能和穩(wěn)定性的前提下能夠處理的最高請(qǐng)求數(shù)。

計(jì)算QPS

QPS 的計(jì)算公式相對(duì)簡(jiǎn)單：

QPS = 總請(qǐng)求次數(shù) / 請(qǐng)求持續(xù)時(shí)間(秒)

例如，如果一個(gè)服務(wù)在 10 秒內(nèi)處理了 2000 個(gè)請(qǐng)求，那么：

QPS = 2000 / 10 = 200

這意味著該服務(wù)每秒平均處理 200 個(gè)請(qǐng)求。

在壓力測(cè)試中，1個(gè)用戶(hù)每秒請(qǐng)求10000次，與10000個(gè)用戶(hù)每秒請(qǐng)求1次，有什么不同嗎？

雖然在表面上看似都產(chǎn)生了每秒 10000 次的請(qǐng)求量，但實(shí)際對(duì)系統(tǒng)的影響和測(cè)試的含義有顯著不同：

1. 并發(fā)性和資源使用

• 1個(gè)用戶(hù)請(qǐng)求 10000 次：這種情況下，請(qǐng)求是順序發(fā)出的，即使以非?？斓乃俣?#xff0c;也只有一個(gè)請(qǐng)求的處理在進(jìn)行。這種情況測(cè)試的是服務(wù)對(duì)單一用戶(hù)的高頻率請(qǐng)求的處理能力。服務(wù)器資源（如數(shù)據(jù)庫(kù)連接）可能主要集中在處理這一個(gè)用戶(hù)的請(qǐng)求上，不一定能反映出在多用戶(hù)并發(fā)情況下的資源競(jìng)爭(zhēng)和分配問(wèn)題。
• 10000個(gè)用戶(hù)各請(qǐng)求1次：這種情況下，請(qǐng)求是并發(fā)發(fā)出的，服務(wù)器需要同時(shí)處理來(lái)自一萬(wàn)個(gè)不同用戶(hù)的請(qǐng)求。這種情況測(cè)試的是服務(wù)的并發(fā)處理能力和系統(tǒng)資源（如數(shù)據(jù)庫(kù)連接池、內(nèi)存、CPU）在大量并發(fā)請(qǐng)求下的表現(xiàn)。這更接近真實(shí)世界的使用場(chǎng)景，能夠暴露出服務(wù)在高并發(fā)下可能遇到的性能瓶頸和問(wèn)題

2. 會(huì)話(huà)和狀態(tài)管理

• 在一個(gè)用戶(hù)高頻請(qǐng)求的場(chǎng)景中，如果服務(wù)涉及到會(huì)話(huà)或狀態(tài)管理，那么這些狀態(tài)可能會(huì)在連續(xù)的請(qǐng)求之間保持，影響測(cè)試結(jié)果。
• 在多用戶(hù)并發(fā)請(qǐng)求的場(chǎng)景中，服務(wù)需要管理和維護(hù)來(lái)自多個(gè)用戶(hù)的會(huì)話(huà)和狀態(tài)，這可能揭示出在會(huì)話(huà)管理、狀態(tài)一致性等方面的問(wèn)題。

3. 網(wǎng)絡(luò)和負(fù)載平衡

• 單用戶(hù)高頻請(qǐng)求可能無(wú)法充分測(cè)試網(wǎng)絡(luò)的負(fù)載均衡和連接限制，因?yàn)樗姓?qǐng)求可能都通過(guò)相同的網(wǎng)絡(luò)路徑和連接進(jìn)行。
• 多用戶(hù)并發(fā)請(qǐng)求則可能涉及到更多的網(wǎng)絡(luò)路徑和連接，能夠測(cè)試負(fù)載均衡器在分配請(qǐng)求到不同服務(wù)器或服務(wù)實(shí)例時(shí)的效果，以及服務(wù)在處理來(lái)自不同源的請(qǐng)求時(shí)的網(wǎng)絡(luò)性能。

雖然兩種情況下每秒的請(qǐng)求量相同，但從測(cè)試的目的和重點(diǎn)來(lái)看，它們反映了系統(tǒng)不同方面的性能和擴(kuò)展性。多用戶(hù)并發(fā)請(qǐng)求的測(cè)試更能反映真實(shí)世界中服務(wù)的并發(fā)處理能力和資源管理效率，因此在進(jìn)行壓力測(cè)試和性能評(píng)估時(shí)，應(yīng)該考慮到測(cè)試場(chǎng)景與真實(shí)使用場(chǎng)景的匹配度。

壓力測(cè)試工具Locust

一個(gè)用 Python 編寫(xiě)的開(kāi)源負(fù)載測(cè)試工具，易于編寫(xiě)測(cè)試腳本，支持模擬數(shù)百萬(wàn)用戶(hù)并發(fā)。

1. 安裝 Locust

pip install locust

2. 編寫(xiě) Locust 測(cè)試腳本

創(chuàng)建一個(gè)名為 locustfile.py 的 Python 文件，并在文件中定義用戶(hù)行為和任務(wù)。以下是一個(gè)基本的測(cè)試腳本示例，它模擬用戶(hù)訪(fǎng)問(wèn)一個(gè) HTTP API：

from locust import HttpUser, between, task
import json
import base64global pic_base64
img_path = './ocr/test_images/1.jpg'
with open(img_path,'rb') as pic:pic_base64 = str(base64.b64encode(pic.read()),encoding='utf-8')class WebsiteUser(HttpUser):host = "http://localhost:8080"wait_time = between(1, 5)@taskdef ocr_task(self):# data = {"img_base64": pic_base64}data = {"key": ["image"], "value": [pic_base64]}headers = {'Content-Type': 'application/json'}self.client.post("/ocr/prediction", data=json.dumps(data), headers=headers)

3. 配置測(cè)試參數(shù)并運(yùn)行 Locust

在包含 locustfile.py 的目錄下，打開(kāi)終端并輸入以下命令啟動(dòng) Locust：

locust

這將啟動(dòng) Locust 的 web 界面，默認(rèn)情況下訪(fǎng)問(wèn)地址是 http://localhost:8089 。

4. 在 Locust Web 界面中啟動(dòng)測(cè)試

打開(kāi)瀏覽器，訪(fǎng)問(wèn) http://localhost:8089 ，然后輸入以下信息：

• Number of users：要模擬的用戶(hù)總數(shù)。
• Spawn rate：每秒生成的用戶(hù)數(shù)。這決定了用戶(hù)以多快的速率啟動(dòng)。
• Host：被測(cè)試的網(wǎng)站或應(yīng)用的基礎(chǔ) URL。
  填寫(xiě)完成后，點(diǎn)擊 “Start Swarming” 按鈕開(kāi)始測(cè)試。

---

參考鏈接：https://blog.csdn.net/yuan_ahui/article/details/126272465