筆者使用 Quadro M4000 顯卡用于 LLM 相關(guān)任務(wù)，但奈何該卡發(fā)布的年代過于久遠(yuǎn)，以至于 LLM 相關(guān)任務(wù)只能使用例如：Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小參數(shù)模型，且速度不堪理想，也經(jīng)常因為顯卡過熱降頻導(dǎo)致對話效率低下。

對于家用而言，不會去考慮那些特別新的 Tesla 計算卡，而會考慮一些舊的大顯存平臺，最好是大于10 GB 的顯存，這樣可以跑一些經(jīng)過量化的、參數(shù)量高一些的模型。對于計算相關(guān)，推理相關(guān)的更應(yīng)注重FP16的計算能力，如果有微調(diào)需求，同時也應(yīng)注重FP32的計算能力。

最近總想著置辦一張計算卡用于 Homelab 的 LLM 應(yīng)用，但是市面上的計算卡/顯卡種類太多了，有的時候不曉得要看哪一張顯卡，故從TechPowerUp 網(wǎng)站摘錄下表，以供參考。