導(dǎo)讀：大型預(yù)訓(xùn)練模型是一種在大規(guī)模語料庫上預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，它們可以通過在大量無標注數(shù)據(jù)上進行訓(xùn)練來學(xué)習(xí)通用語言表示，并在各種下游任務(wù)中進行微調(diào)和遷移。隨著模型參數(shù)規(guī)模的擴大，微調(diào)和推理階段的資源消耗也在增加。針對這一挑戰(zhàn)，可以通過優(yōu)化模型結(jié)構(gòu)和訓(xùn)練策略來降低資源消耗。

一般來說，研究者的優(yōu)化方向從兩個方面共同推進：

• 一方面，針對訓(xùn)練參數(shù)過多導(dǎo)致資源消耗巨大的情況，可以考慮通過固定基礎(chǔ)大型語言模型的參數(shù)，引入部分特定參數(shù)進行模型訓(xùn)練，大大減少了算力資源的消耗，也加速了模型的訓(xùn)練速度。比較常用的方法包括前綴調(diào)優(yōu)、提示調(diào)優(yōu)等。
• 另一方面，還可以通過固定基礎(chǔ)大型語言模型的架構(gòu)，通過增加一個“新的旁路”來針對特定任務(wù)或特定數(shù)據(jù)進行微調(diào)，當(dāng)前非常熱門的LoRA就是通過增加一個旁路來提升模型在多任務(wù)中的表現(xiàn)。

接下來，我們將詳細介紹11種高效的大型語言模型參數(shù)調(diào)優(yōu)的方法。

本文目錄

• 前綴調(diào)優(yōu)
• 提示調(diào)優(yōu)
• P-Tuning v2
• LoRA
• DyLoRA
• AdaLoRA
• QLoRA
• QA-LoRA
• LongLoRA
• VeRA
• S-LoRA
• 總結(jié)

1前綴調(diào)優(yōu)

前綴調(diào)優(yōu)（Prefix Tuning）是一種輕量級的微調(diào)替代方法，專門用于自然語言生成任務(wù)。前綴調(diào)優(yōu)的靈感來自于語言模型提示，前綴就好像是“虛擬標記”一樣，這種方法可在特定任務(wù)的上下文中引導(dǎo)模型生成文本。

前綴調(diào)優(yōu)的獨特之處在于它不改變語言模型的參數(shù)，而是通過凍結(jié)LM參數(shù)，僅優(yōu)化一系列連續(xù)的任務(wù)特定向量（即前綴）來實現(xiàn)優(yōu)化任務(wù)。前綴調(diào)優(yōu)的架構(gòu)如圖1所示。

圖1 前綴調(diào)優(yōu)的架構(gòu)

由于在訓(xùn)練中只需要為每個任務(wù)存儲前綴，前綴調(diào)優(yōu)的輕量級設(shè)計避免了存儲和計算資源的浪費，同時保持了模型的性能，具有模塊化和高效利用空間的特點，有望在NLP任務(wù)中提供高效的解決方案。

2提示調(diào)優(yōu)

提示調(diào)優(yōu)（Prompt Tuning）方法是由Brian Lester在論文“The Power of Scale for Parameter-Efficient Prompt Tuning”中提出的。

提示調(diào)優(yōu)采用“軟提示”（Soft Prompt）的方式，通過凍結(jié)整個預(yù)訓(xùn)練模型，只允許每個下游任務(wù)在輸入文本前面添加k個可調(diào)的標記（Token）來優(yōu)化模型參數(shù)，賦予語言模型能夠執(zhí)行特定的下游任務(wù)的能力。提示調(diào)優(yōu)的架構(gòu)如圖2所示。

圖2 提示調(diào)優(yōu)的架構(gòu)

在論文的實驗對比中，對于T5-XXL模型，每個經(jīng)過調(diào)整的模型副本需要110億個參數(shù)，相較于為每個下游任務(wù)制作特定的預(yù)訓(xùn)練模型副本，提示調(diào)優(yōu)需要的參數(shù)規(guī)模僅為20480個參數(shù)。該方法在少樣本提示方面表現(xiàn)出色。

3P-Tuning v2

盡管提示調(diào)優(yōu)在相應(yīng)任務(wù)上取得了一定的效果，但當(dāng)?shù)鬃Ｐ鸵?guī)模較小，特別是小于1000億個參數(shù)時，效果表現(xiàn)不佳。為了解決這個問題，清華大學(xué)的團隊提出了針對深度提示調(diào)優(yōu)的優(yōu)化和適應(yīng)性實現(xiàn)——P-Tuning v2方法。

該方法最顯著的改進是對預(yù)訓(xùn)練模型的每一層應(yīng)用連續(xù)提示，而不僅僅是輸入層。這實際上是一種針對大型語言模型的軟提示方法，主要是將大型語言模型的詞嵌入層和每個Transformer網(wǎng)絡(luò)層前都加上新的參數(shù)。深度提示調(diào)優(yōu)增加了連續(xù)提示的功能，并縮小了在各種設(shè)置之間進行微調(diào)的差距，特別是對于小型模型和困難的任務(wù)。

實驗表明，P-Tuning v2在30億到100億個參數(shù)的不同模型規(guī)模下，以及在提取性問題回答和命名實體識別等NLP任務(wù)上，都能與傳統(tǒng)微調(diào)的性能相匹敵，且訓(xùn)練成本大大降低。

4LoRA

微軟公司在2021年提出了一種名為Low-Rank Adaptation（LoRA，低秩適配器）的方法。

LoRA的核心思想是通過凍結(jié)預(yù)訓(xùn)練模型的權(quán)重，并將可訓(xùn)練的秩分解矩陣注入Transformer架構(gòu)的每一層，從而顯著減少下游任務(wù)中可訓(xùn)練參數(shù)的數(shù)量。在訓(xùn)練過程中，只需要固定原始模型的參數(shù)，然后訓(xùn)練降維矩陣A和升維矩陣B。LoRA的架構(gòu)如圖3所示。

圖3 LoRA的架構(gòu)

具體來看，假設(shè)預(yù)訓(xùn)練的矩陣為，它的更新可表示為：，其中：。

與使用Adam微調(diào)的GPT-3 175B相比，LoRA可以將可訓(xùn)練參數(shù)的數(shù)量減少10000倍，并將GPU內(nèi)存需求減少3倍。盡管LoRA的可訓(xùn)練參數(shù)較少，訓(xùn)練吞吐量較高，但與RoBERTa、DeBERTa、GPT-2和GPT-3等模型相比，LoRA在模型質(zhì)量性能方面與微調(diào)相當(dāng)，甚至更好。

5DyLoRA

但隨著研究的深入，LoRA塊存在兩大核心問題：

• 一旦訓(xùn)練完成后，LoRA塊的大小便無法更改，若要調(diào)整LoRA塊的秩，則需重新訓(xùn)練整個模型，這無疑增加了大量時間和計算成本；
• LoRA塊的大小是在訓(xùn)練前設(shè)計的固定超參，優(yōu)化秩的過程需要精細的搜索與調(diào)優(yōu)操作，僅設(shè)計單一的超參可能無法有效提升模型效果。

為解決上述問題，研究者引入了一種全新的方法—DyLoRA（動態(tài)低秩適應(yīng)）。

研究者參考LoRA的基本架構(gòu)，針對每個LoRA塊設(shè)計了上投影（Wup）和下投影（Wdw）矩陣及當(dāng)前LoRA塊的規(guī)模范圍R。為確保增加或減少秩不會明顯阻礙模型的表現(xiàn)，在訓(xùn)練過程中通過對LoRA塊對不同秩的信息內(nèi)容進行排序，再結(jié)合預(yù)定義的隨機分布中進行抽樣，來對LoRA塊鏡像上投影矩陣和下投影矩陣截斷，最終確認單個LoRA塊的大小。DyLoRA的架構(gòu)如圖4所示。

圖4 DyLoRA的架構(gòu)

研究結(jié)果表明，與LoRA相比，使用DyLoRA訓(xùn)練出的模型速度可提升4～7倍，且性能幾乎沒有下降。此外，與LoRA相比，該模型在更廣泛的秩范圍內(nèi)展現(xiàn)出了卓越的性能。

6AdaLoRA

正如DyLoRA優(yōu)化方法一樣，提出AdaLoRA的研究者也發(fā)現(xiàn)，當(dāng)前LoRA存在的改進方向：

• 由于權(quán)重矩陣在不同LoRA塊和模型層中的重要性存在差異，因此不能提前制定一個統(tǒng)一規(guī)模的秩來約束相關(guān)權(quán)重信息，需要設(shè)計可以支持動態(tài)更新的參數(shù)矩陣；
• 需要設(shè)計有效的方法來評估當(dāng)前參數(shù)矩陣的重要性，并根據(jù)重要性程度，為重要性高的矩陣分配更多參數(shù)量，以提升模型效果，對重要性低的矩陣進行裁剪，進一步降低計算量。

根據(jù)上述思想，研究者提出了AdaLoRA方法，可以根據(jù)權(quán)重矩陣的重要性得分，在權(quán)重矩陣之間自適應(yīng)地分配參數(shù)規(guī)模。在實際操作中，AdaLoRA采用奇異值分解（SVD）的方法來進行參數(shù)訓(xùn)練，根據(jù)重要性指標剪裁掉不重要的奇異值來提高計算效率，從而進一步提升模型在微調(diào)階段的效果。

7QLoRA

Tim Dettmers等研究者在論文“QLoRA: Efficient Finetuning of Quantized LLMs”中提出了一種高效的模型微調(diào)方法——QLoRA。

QLoRA的架構(gòu)如圖5所示。

圖5 QLoRA的架構(gòu)

QLoRA的創(chuàng)新內(nèi)容主要如下：

• 4bit NormalFloat（NF4）。NF4是一種新型數(shù)據(jù)類型，它對正態(tài)分布的權(quán)重來說是信息理論上的最優(yōu)選擇。
• 雙重量化技術(shù)。雙重量化技術(shù)減少了平均內(nèi)存的使用，它通過對已量化的常量進行再量化來實現(xiàn)。
• 分頁優(yōu)化器。分頁優(yōu)化器有助于管理內(nèi)存峰值，防止梯度檢查點時出現(xiàn)內(nèi)存不足的錯誤。

實驗表明，QLoRA技術(shù)使得研究者能夠在單個48GB GPU上微調(diào)650億個參數(shù)規(guī)模的模型，同時維持16bit精度任務(wù)的完整性能。例如，在訓(xùn)練Guanaco模型時，僅需在單個GPU上微調(diào)24h，即可達到與ChatGPT相當(dāng)?shù)?9.3%性能水平。通過QLoRA微調(diào)技術(shù)，可以有效降低模型微調(diào)時的顯存消耗。

8QA-LoRA

大型語言模型取得了迅猛發(fā)展，盡管在許多語言理解任務(wù)中表現(xiàn)強大，但由于巨大的計算負擔(dān)，尤其是在需要將它們部署到邊緣設(shè)備時，應(yīng)用受到了限制。具體而言，預(yù)訓(xùn)練權(quán)重矩陣的每一列只伴隨一個縮放和零參數(shù)對，但有很多LoRA參數(shù)。這種不平衡不僅導(dǎo)致了大量的量化誤差（對LLM的準確性造成損害），而且使得將輔助權(quán)重整合到主模型中變得困難。

在論文“QA-LoRA: Quantization-aware Low-rank Adaptation of large language models”中，研究者提出了一種量化感知的低秩適應(yīng)（QA-LoRA）算法。該方法來源于量化和適應(yīng)的自由度不平衡的思想。

研究者提出采用分組運算符的方式，旨在增加量化自由度的同時減少適應(yīng)自由度。

QA-LoRA的實現(xiàn)簡便，僅需幾行代碼，同時賦予原始的LoRA兩倍的能力：

• 在微調(diào)過程中，LLM的權(quán)重被量化（如INT4），以降低時間和內(nèi)存的使用；
• 微調(diào)后，LLM和輔助權(quán)重能夠自然地集成到一個量化模型中，而不損失準確性。

通過在LLaMA和LLaMA2模型系列的實驗中證明，QA-LoRA在不同的微調(diào)數(shù)據(jù)集和下游場景中驗證了其有效性。

如圖6所示，與之前的適應(yīng)方法LoRA和QLoRA相比，QA-LoRA在微調(diào)和推理階段都具有更高的計算效率。更重要的是，由于不需要進行訓(xùn)練后量化，因此它不會導(dǎo)致準確性損失。在圖6中展示了INT4的量化，但QA-LoRA可以推廣到INT3和INT2。

圖6 LoRA、QLoRA、QA-LoRA的架構(gòu)對比

9LongLoRA

通常情況下，用較長的上下文長度訓(xùn)練大型語言模型的計算成本較高，需要大量的訓(xùn)練時間和GPU資源。

為了在有限的計算成本下擴展預(yù)訓(xùn)練大型語言模型的上下文大小，研究者在論文“LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models”中提出了LongLoRA的方法，整體架構(gòu)如圖7所示。

圖7 LongLoRA的整體架構(gòu)

LongLoRA在兩個方面進行了改進：

• 雖然在推理過程中需要密集的全局注意力，但通過采用稀疏的局部注意力，可以有效地進行模型微調(diào)。在LongLoRA中，引入的轉(zhuǎn)移短暫的注意力機制能夠有效地實現(xiàn)上下文擴展，從而在性能上與使用香草注意力（Vanilla Attention）進行微調(diào)的效果相似；
• 通過重新審視上下文擴展的參數(shù)高效微調(diào)機制，研究者發(fā)現(xiàn)在可訓(xùn)練嵌入和規(guī)范化的前提下，用于上下文擴展的LoRA表現(xiàn)良好。

LongLoRA在從70億、130億到700億個參數(shù)的LLaMA2模型的各種任務(wù)上都取得了良好的結(jié)果。具體而言，LongLoRA采用LLaMA2-7B模型，將上下文長度從4000個Token擴展到10萬個Token，展現(xiàn)了其在增加上下文長度的同時保持了高效計算的能力。這為大型語言模型的進一步優(yōu)化和應(yīng)用提供了有益的思路。

10VeRA

LoRA是一種常用的大型語言模型微調(diào)方法，它在微調(diào)大型語言模型時能夠減少可訓(xùn)練參數(shù)的數(shù)量。然而，隨著模型規(guī)模的進一步擴大或者需要部署大量適應(yīng)于每個用戶或任務(wù)的模型時，存儲問題仍然是一個挑戰(zhàn)。

研究者提出了一種基于向量的隨機矩陣適應(yīng)（Vector-based Random matrix Adaptation，VeRA）的方法，VeRA的實現(xiàn)方法是通過使用一對低秩矩陣在所有層之間共享，并學(xué)習(xí)小的縮放向量來實現(xiàn)這一目標。

與LoRA相比，VeRA成功將可訓(xùn)練參數(shù)的數(shù)量減少了10倍，同時保持了相同的性能水平。VeRA與LoRA的架構(gòu)對比如圖8所示，LoRA通過訓(xùn)練低秩矩陣和來更新權(quán)重矩陣，中間秩為。在VeRA中，這些矩陣被凍結(jié)，在所有層之間共享，并通過可訓(xùn)練向量和進行適應(yīng)，從而顯著減少可訓(xùn)練參數(shù)的數(shù)量。在這種情況下，低秩矩陣和向量可以合并到原始權(quán)重矩陣中，不引入額外的延遲。這種新穎的結(jié)構(gòu)設(shè)計使得VeRA在減少存儲開銷的同時，還能夠保持和LoRA相媲美的性能，為大型語言模型的優(yōu)化和應(yīng)用提供了更加靈活的解決方案。

圖8 VeRA與LoRA的架構(gòu)對比

實驗證明，VeRA在GLUE和E2E基準測試中展現(xiàn)了其有效性，并在使用LLaMA2 7B模型時僅使用140萬個參數(shù)的指令就取得了一定的效果。這一方法為在大型語言模型微調(diào)中降低存儲開銷提供了一種新的思路，有望在實際應(yīng)用中取得更為顯著的效益。

11S-LoRA

LoRA作為一種參數(shù)高效的大型語言模型微調(diào)方法，通常用于將基礎(chǔ)模型適應(yīng)到多種任務(wù)中，從而形成了大量派生自基礎(chǔ)模型的LoRA模型。由于多個采用LoRA形式訓(xùn)練的模型的底座模型都為同一個，因此可以參考批處理模式進行推理。

據(jù)此，研究者提出了一種S-LoRA（Serving thousands of con current LoRA adapters）方法，S-LoRA是一種專為可伸縮地服務(wù)多個LoRA適配器而設(shè)計的方法。

S-LoRA的設(shè)計理念是將所有適配器存儲在主內(nèi)存中，并在GPU內(nèi)存中動態(tài)獲取當(dāng)前運行查詢所需的適配器。為了高效使用GPU內(nèi)存并減少碎片，S-LoRA引入了統(tǒng)一分頁。統(tǒng)一分頁采用統(tǒng)一的內(nèi)存池來管理具有不同秩的動態(tài)適配器權(quán)重以及具有不同序列長度的KV緩存張量。此外，S-LoRA還采用了一種新穎的張量并行策略和高度優(yōu)化的自定義CUDA核心，用于異構(gòu)批處理LoRA計算。這些特性使得S-LoRA能夠在單個GPU或跨多個GPU上提供數(shù)千個LoRA適配器，而開銷相對較小。

通過實驗發(fā)現(xiàn)，S-LoRA的吞吐量提高了4倍多，并且提供的適配器數(shù)量增加了數(shù)個數(shù)量級。因此，S-LoRA在實現(xiàn)對許多任務(wù)特定微調(diào)模型的可伸縮服務(wù)方面取得了顯著進展，并為大規(guī)模定制微調(diào)服務(wù)提供了潛在的可能性。

12總結(jié)

本文從背景、來源、技術(shù)路線及性能等方面綜述了11種在模型參數(shù)調(diào)優(yōu)階段進行的方法，其中前綴調(diào)優(yōu)、提示調(diào)優(yōu)和P-Tuning v2屬于引入特定參數(shù)來減少算力消耗、提升訓(xùn)練速度；基于LoRA的各種方法的基本思想是添加新的旁路，對特定任務(wù)或特定數(shù)據(jù)進行微調(diào)。

開源社區(qū)Hugging Face將這11種方法歸納為高效參數(shù)調(diào)優(yōu)方法（Parameter-Efficient Fine-Tuning，PEFT）。PEFT方法能夠在不微調(diào)所有模型參數(shù)的情況下，有效地讓預(yù)訓(xùn)練語言模型適應(yīng)各種下游應(yīng)用。PEFT方法只微調(diào)了少量額外的模型參數(shù)，從而大幅降低了大模型訓(xùn)練和微調(diào)的計算與存儲成本。通過合理使用PEFT方法，不但能提高模型的訓(xùn)練效率，還能在特定任務(wù)上達到大型語言模型的效果。有關(guān)基于PEFT的微調(diào)實戰(zhàn)案例，推薦您閱讀劉聰、沈盛宇、李特麗和杜振東的新書《大型語言模型實戰(zhàn)指南：應(yīng)用實踐與場景落地》。

那么，如何系統(tǒng)的去學(xué)習(xí)大模型LLM？

我在一線互聯(lián)網(wǎng)企業(yè)工作十余年里，指導(dǎo)過不少同行后輩。幫助很多人得到了學(xué)習(xí)和成長。

作為一名熱心腸的互聯(lián)網(wǎng)老兵，我意識到有很多經(jīng)驗和知識值得分享給大家，也可以通過我們的能力和經(jīng)驗解答大家在人工智能學(xué)習(xí)中的很多困惑，所以在工作繁忙的情況下還是堅持各種整理和分享。

但苦于知識傳播途徑有限，很多互聯(lián)網(wǎng)行業(yè)朋友無法獲得正確的資料得到學(xué)習(xí)提升，故此將并將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書籍手冊、視頻教程、實戰(zhàn)學(xué)習(xí)等錄播視頻免費分享出來。

所有資料 ?? ，朋友們?nèi)绻行枰?《LLM大模型入門+進階學(xué)習(xí)資源包》，掃碼獲取~

篇幅有限，部分資料如下：

👉LLM大模型學(xué)習(xí)指南+路線匯總👈

💥大模型入門要點，掃盲必看！

💥既然要系統(tǒng)的學(xué)習(xí)大模型，那么學(xué)習(xí)路線是必不可少的，這份路線能幫助你快速梳理知識，形成自己的體系。

👉大模型入門實戰(zhàn)訓(xùn)練👈

💥光學(xué)理論是沒用的，要學(xué)會跟著一起做，要動手實操，才能將自己的所學(xué)運用到實際當(dāng)中去，這時候可以搞點實戰(zhàn)案例來學(xué)習(xí)。

👉國內(nèi)企業(yè)大模型落地應(yīng)用案例👈

💥《中國大模型落地應(yīng)用案例集》 收錄了52個優(yōu)秀的大模型落地應(yīng)用案例，這些案例覆蓋了金融、醫(yī)療、教育、交通、制造等眾多領(lǐng)域，無論是對于大模型技術(shù)的研究者，還是對于希望了解大模型技術(shù)在實際業(yè)務(wù)中如何應(yīng)用的業(yè)內(nèi)人士，都具有很高的參考價值。 （文末領(lǐng)取）

💥《2024大模型行業(yè)應(yīng)用十大典范案例集》 匯集了文化、醫(yī)藥、IT、鋼鐵、航空、企業(yè)服務(wù)等行業(yè)在大模型應(yīng)用領(lǐng)域的典范案例。

👉LLM大模型學(xué)習(xí)視頻👈

💥觀看零基礎(chǔ)學(xué)習(xí)書籍和視頻，看書籍和視頻學(xué)習(xí)是最快捷也是最有效果的方式，跟著視頻中老師的思路，從基礎(chǔ)到深入，還是很容易入門的。 （文末領(lǐng)取）

👉640份大模型行業(yè)報告👈

💥包含640份報告的合集，涵蓋了AI大模型的理論研究、技術(shù)實現(xiàn)、行業(yè)應(yīng)用等多個方面。無論您是科研人員、工程師，還是對AI大模型感興趣的愛好者，這套報告合集都將為您提供寶貴的信息和啟示。

👉獲取方式：

這份完整版的大模型 LLM 學(xué)習(xí)資料已經(jīng)上傳CSDN，朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領(lǐng)取【保證100%免費】

😝有需要的小伙伴，可以Vx掃描下方二維碼免費領(lǐng)取🆓