Step1:脈絡(luò)

微調(diào)技術(shù)從最早期的全模型微調(diào)演變成如今的各種參數(shù)高效微調(diào)(PEFT)方法，背后是為了應(yīng)對(duì)大模型中的計(jì)算、存儲(chǔ)和數(shù)據(jù)適應(yīng)性的挑戰(zhàn)

1.為什么有微調(diào)？

深度學(xué)習(xí)模型越來(lái)越大，尤其是 NLP 中的預(yù)訓(xùn)練語(yǔ)言模型(BERT, GPT)系列。如果從零開(kāi)始訓(xùn)練，既耗時(shí)又昂貴。

所以人們開(kāi)始轉(zhuǎn)向 預(yù)訓(xùn)練-微調(diào) 范式，在大規(guī)模無(wú)監(jiān)督語(yǔ)料庫(kù)上進(jìn)行模型的預(yù)訓(xùn)練，然后在特定任務(wù)上微調(diào)模型。

核心需求：

• 減少?gòu)牧汩_(kāi)始訓(xùn)練的計(jì)算成本和時(shí)間
• 利用已經(jīng)學(xué)到的通用語(yǔ)言知識(shí)，通過(guò)小規(guī)模的任務(wù)特定數(shù)據(jù)快速適配模型

2.脈絡(luò)

1. 微調(diào)技術(shù)時(shí)間線(xiàn)

全量微調(diào)(2018, BERT Google 提出) → Adapter 微調(diào)(2019, Houlsby et al 提出) → P-Tuning(2021, 清華大學(xué)) → LoRA(2021, 微軟研究院) → Prefix-Tuning(2021, Li et al 提出) → IA3 (2022, 微軟 和 HuggingFace 提出)

2.LoRA 的脈絡(luò)

1. LoRA(2021)
   • 解決：通過(guò)低秩分解，只微調(diào)少量參數(shù)，大幅減少計(jì)算和存儲(chǔ)成本，尤其適合大模型生成任務(wù)
   • 不足：固定秩的設(shè)計(jì)限制了在復(fù)雜多任務(wù)或多層次任務(wù)中的表現(xiàn)力
2. QLoRA(2023)
   • 解決：雖然 LoRA 減少了參數(shù)量，但是顯存占用依舊較高。QLoRA 通過(guò) 4bit 量化，降低了顯存需求
   • 不足：量化帶來(lái)了一定的性能損失，特別是在精度要求極高的任務(wù)上
3. LoHA(2022)
   • 解決：LoRA 固定秩的方式難以應(yīng)對(duì)多任務(wù)學(xué)習(xí)或復(fù)雜層次結(jié)構(gòu)的需求。LoHA 通過(guò)層次化的低秩分解，適應(yīng)不同層次的任務(wù)需求。這樣增強(qiáng)了多任務(wù)和復(fù)雜上下文中的適應(yīng)性。
   • 不足：增加了計(jì)算復(fù)雜度，設(shè)計(jì)相對(duì)復(fù)雜
4. LoKr(2023)
   • 解決：LoRA 適用于線(xiàn)性任務(wù)，處理非線(xiàn)性特征時(shí)表現(xiàn)不足。LoKr 結(jié)合了核方法，使模型能夠更好的捕捉復(fù)雜的非線(xiàn)性關(guān)系。提高了模型在非線(xiàn)性特征場(chǎng)景中的表現(xiàn)，如高級(jí) NLP 和 CV 任務(wù)中
   • 不足：引入了額外的計(jì)算成本和復(fù)雜性
5. AdaLoRA(2023)
   • 解決：LoRA 固定秩限制了模型對(duì)不同層的適應(yīng)能力。AdaLoRA 通過(guò)動(dòng)態(tài)調(diào)整每一層的秩，減少了不必要的計(jì)算，提高了關(guān)鍵層的標(biāo)下能力，在資源有限的環(huán)境下表現(xiàn)優(yōu)異
   • 不足：引入了更高的實(shí)現(xiàn)復(fù)雜度和超參數(shù)調(diào)整要求
6. Delta-LoRA 和 Prefix Tuning(2021-2022)
   • 解決：LoRA 在生成任務(wù)的上下文適應(yīng)性不足。Delta-LoRA 和 Prefix-Tuning 通過(guò)引入前綴或序列信息的適應(yīng)，曾慶了對(duì)上下文的捕捉能力，提升了生成任務(wù)(對(duì)話(huà)、故事生成)中的質(zhì)量
   • 不足：推理時(shí)成本增加

7.總結(jié)

• LoRA 的初衷是為了解決大規(guī)模模型微調(diào)中的高計(jì)算和顯存開(kāi)銷(xiāo)問(wèn)題。
• QLoRA 進(jìn)一步通過(guò)量化解決了顯存占用問(wèn)題，使得大模型能夠在低資源設(shè)備上運(yùn)行。
• LoHA 和 LoKr 針對(duì)復(fù)雜任務(wù)和非線(xiàn)性特征的學(xué)習(xí)需求進(jìn)行了擴(kuò)展，增強(qiáng)了模型的適應(yīng)性。
• AdaLoRA 通過(guò)自適應(yīng)調(diào)整秩大小，優(yōu)化了層次間的資源分配，進(jìn)一步提高了效率和靈活性。
• Delta-LoRA 和 Prefix Tuning 則主要提升了生成任務(wù)的上下文捕捉能力。