前言

如果你對這篇文章可感興趣，可以點(diǎn)擊「【訪客必讀 - 指引頁】一文囊括主頁內(nèi)所有高質(zhì)量博客」，查看完整博客分類與對應(yīng)鏈接。

當(dāng)前的大型語言模型訓(xùn)練大致可以分為如下三個(gè)階段：

1. Pre-train：根據(jù)大量可獲得的文本資料，采用自監(jiān)督學(xué)習(xí)-預(yù)測 next token 的方式，訓(xùn)練得到預(yù)訓(xùn)練模型；
2. Instruction Fine-tuning：根據(jù)大量任務(wù)上的指令標(biāo)記數(shù)據(jù)，采用監(jiān)督學(xué)習(xí)的方式微調(diào)模型，使得模型可以理解人類指令；
3. RLHF：基于人類的反饋，采用強(qiáng)化學(xué)習(xí)的方式，使模型可以產(chǎn)出符合人類偏好的回答。

---

GPT Pre-train 系列歷史

• GPT-1 (2018)：模型參數(shù)量為 117M，使用了大約 7000 本書的數(shù)據(jù)量；
• GPT-2 (2019)：模型參數(shù)量為 1542M（擴(kuò)大了十倍），使用了大約 40GB 的資料；
• GPT-3 (2020)：模型參數(shù)量為 175B（再次擴(kuò)大一百倍），使用了大約 580GB 的資料，包含 300B 的 token，類似于哈利波特全集的 30 萬遍。
  • 下圖來自 GPT-3 論文，可以看到隨模型參數(shù)量擴(kuò)大，模型性能逐步提高，但仍然沒有發(fā)生質(zhì)變，模型的使用體驗(yàn)也與當(dāng)前的 GPT-4 等其它模型相差甚遠(yuǎn)。
  • GPT-1、2、3 系列均采用自監(jiān)督學(xué)習(xí) (Self-Supervised Learning) 訓(xùn)練得到，即使用 predict next token 的方式，將句子中的下一個(gè) token 作為 label 進(jìn)行訓(xùn)練，無需人工標(biāo)注數(shù)據(jù)。

---

Instruction Fine-tuning

通過自監(jiān)督學(xué)習(xí)出來的模型，雖然已展現(xiàn)了一定程度的語言理解能力，但其性能依然有較大的提升空間。

因此在后續(xù)的 GPT 系列中，自監(jiān)督學(xué)習(xí)只是模型訓(xùn)練的第一階段。該階段作為預(yù)訓(xùn)練 (Pre-train)，無需人工標(biāo)注，有大量的可訓(xùn)練數(shù)據(jù)，其訓(xùn)練得到的模型，將作為后續(xù)訓(xùn)練階段的初始參數(shù)。

下述例子來自于開源指令微調(diào)數(shù)據(jù)集，要求模型輸出的內(nèi)容盡可能與 Target 一致：

Input: 對聯(lián)，要求對仗工整：上聯(lián)：桃李爭春齊獻(xiàn)媚
Output:下聯(lián)：鵬鵠比翼各稱雄Input:說話時(shí)面帶慣常的微笑。翻譯成英文：
Output:His face with the usual smile.

在指令微調(diào)的過程中，可以發(fā)現(xiàn)大模型表現(xiàn)出的一些「舉一反三」的能力，即在多種語言上做預(yù)訓(xùn)練后，只要在某一個(gè)語言的某一個(gè)任務(wù)上做微調(diào)，就可以自動(dòng)學(xué)會(huì)其他語言上同樣的任務(wù)。如下圖所示， 在 104 種語言上做 Pre-train，English QA 上做 Fine-tune，在 Chinese QA 上做 Testing，也可以取得 78.8% 的 F1 score。

先前 Fine-tuning 的思路通常是給定一個(gè)大型預(yù)訓(xùn)練模型，然后在各下游任務(wù)的數(shù)據(jù)集上各自訓(xùn)練，打造一堆專才，且微調(diào)的數(shù)據(jù)集規(guī)模通常不大。

不同于上述打造專才的思路，Instruct GPT 在大范圍的任務(wù)集上進(jìn)行了 Fine-tuning，并且在僅依賴 1.3B 模型參數(shù)量和上萬條標(biāo)注數(shù)據(jù)的情況下打敗了擁有 175B 參數(shù)量的 GPT-3.

Self-Instruct

Instruction Fine-tuning 效果非常顯著，其所需的訓(xùn)練數(shù)據(jù)通常無需太多，但要求是高質(zhì)量的標(biāo)注數(shù)據(jù)。由于標(biāo)注數(shù)據(jù)有一定的獲取門檻，因此有人提出對 ChatGPT 進(jìn)行逆向工程，即 Self-Instruct，生成大量標(biāo)注數(shù)據(jù)。

具體流程如下：

• 先讓 ChatGPT 想大量的任務(wù)（例如撰寫郵件、修改文章、撰寫報(bào)告摘要等）；
• 再讓 ChatGPT 根據(jù)任務(wù)產(chǎn)生大量可能的輸入；
• 最后讓 ChatGPT 根據(jù)產(chǎn)生的大量輸入，輸出具體的答案，組成一組標(biāo)注數(shù)據(jù)。

---

Reinforcement Learning from Human Feedback (RLHF)

RLHF 即根據(jù)人類的反饋（例如判斷某兩個(gè)回答哪個(gè)更好），采用強(qiáng)化學(xué)習(xí)的方式，進(jìn)一步提升模型的性能。

在先前的兩個(gè)訓(xùn)練階段，模型不斷地在判斷 next token 的輸出是否正確，缺乏對整個(gè)文本內(nèi)容全面的考量。在第三階段，RLHF 通過人類反饋的 response 間的優(yōu)劣關(guān)系，站在更全局性的視角，進(jìn)一步地對模型進(jìn)行優(yōu)化。換句話說，前兩個(gè)階段更加關(guān)注 response 輸出的過程，而 RLHF 這個(gè)階段則更關(guān)注最終的結(jié)果，即整個(gè) response 的質(zhì)量。

在 RLHF 的過程中，首先需要訓(xùn)練一個(gè) Reward Model，其輸入為一個(gè) response，輸出為這個(gè) response 的得分，可以根據(jù)人類給出的兩個(gè) response 之間的排序，訓(xùn)練這個(gè)獎(jiǎng)勵(lì)模型。

得到 Reward Model 后，最直接的用法是：讓 LLM 對于特定的輸入，輸出多個(gè)回答，再根據(jù) Reward Model 選擇得分最高的回答。

進(jìn)一步地，也可以使用 Reward Model 繼續(xù)微調(diào) LLM，即對于所有的輸入，讓 LLM 輸出的得分低的 response 出現(xiàn)的概率更低，讓 LLM 輸出的得分高的 response 出現(xiàn)的概率更高。

Proximal Policy Optimization (PPO)

PPO 就是一種在 Reward Model 基礎(chǔ)上，進(jìn)一步優(yōu)化模型參數(shù)的強(qiáng)化學(xué)習(xí)優(yōu)化方法。

在強(qiáng)化學(xué)習(xí)流程中，$t$ 時(shí)刻環(huán)境的狀態(tài)為 $s_t$，采取動(dòng)作 $a_t$ 后，得到獎(jiǎng)勵(lì) $r_t$，環(huán)境變成 $s_{t+1}$。整個(gè)學(xué)習(xí)過程的目的是找到一個(gè)最佳策略，使得其能夠根據(jù)環(huán)境狀態(tài)選擇最佳的動(dòng)作。

上述的 $r_t$ 僅為即時(shí)收益，為在決策過程中考慮未來多步的收益，強(qiáng)化學(xué)習(xí)中引入了狀態(tài)價(jià)值函數(shù) $V_t$，其表示從當(dāng)前狀態(tài)開始，未來所有時(shí)刻所能累積的收益，通常表達(dá)為：
$$V_t=r_t+\gamma ?V_{t+1},$$

其中 $\gamma$ 作為折扣因子，使決策在短期獎(jiǎng)勵(lì)和長期收益間取得平衡，并且確保無限時(shí)間下累計(jì)的獎(jiǎng)勵(lì)和使有限的，避免累積獎(jiǎng)勵(lì)發(fā)散。

在 LLM 語境下，模型會(huì)在 $t$ 時(shí)刻根據(jù)上文，產(chǎn)出一個(gè) token $o_t$（對應(yīng)動(dòng)作 $a_t$），對應(yīng)即時(shí)獎(jiǎng)勵(lì) $r_t$ 和未來總收益 $V_t$；由于 $r_t$ 和 $V_t$ 都無法直接獲取，整個(gè) RLHF-PPO 階段一共包含四個(gè)主要模型，分別是：

• Actor Model：輸出每個(gè)時(shí)刻的 token，即我們想要繼續(xù)優(yōu)化的 LLM（通常采用指令微調(diào)后的模型初始化）；
• Critic Model：根據(jù) $s_t$ 估計(jì)時(shí)刻 $t$ 的總收益 $V_t$；
• Reward Model：即前文根據(jù)人類反饋數(shù)據(jù)訓(xùn)練得到的獎(jiǎng)勵(lì)模型；
• Reference Model：參考模型，避免語言模型在 RLHF 階段訓(xùn)歪（同樣通常采用指令微調(diào)后的模型初始化）。

不難發(fā)現(xiàn) Reward Model 和 Reference Model 在 PPO 階段都是參數(shù)凍結(jié)的，因此主要關(guān)鍵在于如何訓(xùn)練 Actor Model 和 Critic Model。

在介紹具體 loss 函數(shù)前，我們首先探究一下如何表示 $r_t$？由于前文訓(xùn)練得到的 Reward Model 僅能根據(jù)最終的 response 輸出最終的獎(jiǎng)勵(lì) $r_{\phi }(q,o_{\le T})$（假設(shè)輸入為 $q$，輸出共 $T$ 個(gè) token），中間過程的獎(jiǎng)勵(lì) $r_t$ 無法通過 Reward Model 直接得到，因此在 deepspeed-chat 的 RLHF 實(shí)踐中，采用 Actor Model 和 Reference Model 輸出的差異（可以理解為動(dòng)作分布的差異）來表示中間過程的獎(jiǎng)勵(lì)（$\beta$ 為超參數(shù)）：

$$r_t=?\begin{array}{l}?\beta ?\left(\log \frac{P\left(o_t\mid q,o_{<t}\right)}{P_{ref}\left(o_t\mid q,o_{<t}\right)}\right),t\ne T\\ r_{\phi }(q,o_{\le T})?\beta ?\left(\log \frac{P\left(o_t\mid q,o_{<t}\right)}{P_{ref}\left(o_t\mid q,o_{<t}\right)}\right),t=T\end{array}$$

即 $P(o_t\mid q,o_{<t})$ 越大（和參考模型的輸出越相似），即時(shí)獎(jiǎng)勵(lì) $r_t$ 越大。需要注意的是，上述僅是 $r_t$ 的某一種設(shè)計(jì)。在 PPO 中，我們希望最大化如下目標(biāo)（${\pi }_{\theta }$ 為具體的策略，代表 Actor 模型參數(shù)；$\tau$ 代表一條軌跡，對應(yīng)一個(gè) response）：
$$\mathcal{J}\left(\theta \right)=E_{\tau ～{\pi }_{\theta }}[R(\tau )]=\sum _{\tau }R(\tau )P\left(\tau \mid {\pi }_{\theta }\right).$$

其相應(yīng)梯度如下：
$$\begin{array}{rl}?\mathcal{J}\left(\theta \right)& =\sum _{\tau }R(\tau )?P\left(\tau \mid {\pi }_{\theta }\right)\\ & =\sum _{\tau }R(\tau )P\left(\tau \mid {\pi }_{\theta }\right)\frac{?P\left(\tau \mid {\pi }_{\theta }\right)}{P\left(\tau \mid {\pi }_{\theta }\right)}\\ & =\sum _{\tau }R(\tau )P\left(\tau \mid {\pi }_{\theta }\right)?\log \left(P\left(\tau \mid {\pi }_{\theta }\right)\right)\\ & =E_{\tau ～{\pi }_{\theta }}\left[R(\tau )?\log \left(P\left(\tau \mid {\pi }_{\theta }\right)\right)\right]\end{array}$$

假設(shè)每條軌跡共有 $T$ 個(gè)節(jié)點(diǎn)，則 $P\left(\tau \mid {\pi }_{\theta }\right)={\rho }_0\left(s_0\right){\prod }_{t=1}^{T}P\left(s_{t+1}\mid s_t,a_t\right){\pi }_{\theta }\left(a_t\mid s_t\right)$，代入 $?\mathcal{J}\left(\theta \right)$ 得到：
$$\begin{array}{rl}?\mathcal{J}\left(\theta \right)& =E_{\tau ～{\pi }_{\theta }}\left[R(\tau )?\log \left(P\left(\tau \mid {\pi }_{\theta }\right)\right)\right]\\ & =E_{\tau ～{\pi }_{\theta }}\left[R(\tau )\sum _{t=1}^T?\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]\end{array}$$

將 $R(\tau )$ 拆分到每一步中，可以得到：
$$\begin{array}{rl}?\mathcal{J}\left(\theta \right)& =E_{\tau ～{\pi }_{\theta }}\left[\sum _{t=1}^T{\Psi }_t?\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]\end{array}$$

此處的 ${\Psi }_t$ 代表了當(dāng)前的價(jià)值度量，其最好能同時(shí)表示「單步即時(shí)獎(jiǎng)勵(lì)」和「未來軌跡的整體收益」，在 PPO 中采用廣義優(yōu)勢估計(jì) (GAE) 中的優(yōu)勢函數(shù) $A_t$ 表示，其定義為：
$$A_t=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l},$$

其中 $\lambda \in [0,1]$，${\delta }_t$ 為 TD error，其代表采取行動(dòng) $a_t$ 后實(shí)際價(jià)值與預(yù)估價(jià)值之間的差距，即 ${\delta }_t=r_t+\gamma ?V_{t+1}?V_t$，即此處的 $A_t$ 表示未來多步 TD error 的加權(quán)和，其可以表示為如下遞歸形式：
$$A_t={\delta }_t+\gamma \lambda A_{t+1}.$$

由于軌跡結(jié)束時(shí) $A_T=0$，因此 $A_t$ 可在軌跡確定后，從后往前遞歸求解。由此我們可以得到下述大模型語境下，PPO 對應(yīng)優(yōu)化目標(biāo)的梯度：
$$?{\mathcal{J}}_{PPO}(\theta )=\mathbb{E}\left[q～P(Q),o～{\pi }_{\theta }(O\mid q)\right]\sum _{t=1}^{|o|}{A}_t?\log {\pi }_{\theta }\left(o_t\mid q,o_{<t}\right).$$

在實(shí)際優(yōu)化過程中，為提高樣本利用率，${\pi }_{\theta }$ 采樣得到的軌跡 $o$ 會(huì)被重復(fù)使用來優(yōu)化 ${\pi }_{\theta }$，即采樣軌跡 $o$ 的 ${\pi }_{{\theta }_{old}}$ 和要優(yōu)化的 ${\pi }_{\theta }$ 不一樣（off-policy），因此可以采用 Importance Sampling 的方式修正上述梯度：
$$?{\mathcal{J}}_{PPO}(\theta )=\mathbb{E}\left[q～P(Q),o～{\pi }_{{\theta }_{old}}(O\mid q)\right]\sum _{t=1}^{|o|}\frac{{\pi }_{\theta }\left(o_t\mid q,o_{<t}\right)}{{\pi }_{{\theta }_{old}}(o_t\mid q,o_{<t})}{A}_t?\log {\pi }_{\theta }\left(o_t\mid q,o_{<t}\right).$$

由于 $?\log f(\theta )=\frac{?f(\theta )}{f(\theta )}$，上述梯度對應(yīng)的優(yōu)化目標(biāo)如下：
$${\mathcal{J}}_{PPO}(\theta )=\mathbb{E}\left[q～P(Q),o～{\pi }_{{\theta }_{old}}(O\mid q)\right]\sum _{t=1}^{|o|}\frac{{\pi }_{\theta }\left(o_t\mid q,o_{<t}\right)}{{\pi }_{{\theta }_{old}}(o_t\mid q,o_{<t})}{A}_t.$$

為了使整體訓(xùn)練更穩(wěn)定，最終的優(yōu)化目標(biāo)會(huì)對 $\frac{{\pi }_{\theta }\left(o_t\mid q,o_{<t}\right)}{{\pi }_{{\theta }_{old}}(o_t\mid q,o_{<t})}$ 進(jìn)行裁剪，避免該值過大或者過小；并且由于不同軌跡可能長度差異很大，優(yōu)化目標(biāo)會(huì)對軌跡長度進(jìn)行歸一化；最終 PPO 所要最大化的目標(biāo)如下所示：
$${\mathcal{J}}_{PPO}(\theta )=\mathbb{E}\left[q～P(Q),o～{\pi }_{{\theta }_{old}}(O\mid q)\right]\frac{1}{|o|}\sum _{t=1}^{|o|}\min \left[\frac{{\pi }_{\theta }\left(o_t\mid q,o_{<t}\right)}{{\pi }_{{\theta }_{old}}\left(o_t\mid q,o_{<t}\right)}{A}_t,\mathrm{clip}\left(\frac{{\pi }_{\theta }\left(o_t\mid q,o_{<t}\right)}{{\pi }_{{\theta }_{old}}\left(o_t\mid q,o_{<t}\right)},1?\epsilon ,1+\epsilon \right)A_t\right].$$

相對應(yīng)地，Critic 模型的優(yōu)化目標(biāo)可以理解為最小化優(yōu)勢 $A_t$，即讓 $V_t$ 對局面的評估更加精準(zhǔn)，具體目標(biāo)可寫作如下形式：
$$\arg \underset{V_{?}}{\min }{\mathbb{E}}_t\left[\max \left[(V_t?(A_t+V_t^{old}){)}^2,(V_t^{clip}?(A_t+V_t^{old}){)}^2\right]\right],$$

其中 $V_t^{clip}=\text{clip}(V_t,V_t^{old}??,V_t^{old}+?)$.

Direct Preference Optimization (DPO)

在上述 RLHF-PPO 的訓(xùn)練中，存在「顯存占用大」、「超參多」以及「模型訓(xùn)練不穩(wěn)定」等一系列問題，為簡化整體訓(xùn)練過程，DPO 應(yīng)運(yùn)而生，其對 PPO 的改進(jìn)主要為如下兩點(diǎn)（如下圖所示）：

• 不再訓(xùn)練 Reward Model，而是直接基于人類反饋的數(shù)據(jù)，一步到位訓(xùn)練最終的模型；
• 簡化原始訓(xùn)練目標(biāo)，不再使用強(qiáng)化學(xué)習(xí)的方法，而是通過類似于監(jiān)督微調(diào)的方式進(jìn)行訓(xùn)練。

首先，RLHF 階段整體目標(biāo)如下（${\pi }_{\theta },{\pi }_{\text{ref}},r_{?}$ 分別對應(yīng)上述的 Actor、參考模型以及 Reward Model）：

• 最大化獎(jiǎng)勵(lì)的同時(shí)，避免訓(xùn)練后得到的 ${\pi }_{\theta }$ 與參考模型 ${\pi }_{\text{ref}}$ 差異過大.
  $$\underset{{\pi }_{\theta }}{\max }{\mathbb{E}}_{x～\mathcal{D},y～{\pi }_{\theta }(y\mid x)}\left[r_{?}(x,y)\right]?\beta {\mathbb{D}}_{\mathrm{KL}}\left[{\pi }_{\theta }(y\mid x)\Vert {\pi }_{\mathrm{ref}}(y\mid x)\right].$$

為了繞過 Reward Model，上述式子可以進(jìn)行如下推導(dǎo)：
$$\begin{array}{rl}& \underset{\pi }{\max }{\mathbb{E}}_{x～\mathcal{D},y～\pi (y\mid x)}[r(x,y)]?\beta {\mathbb{D}}_{\mathrm{KL}}\left[\pi (y\mid x)\Vert {\pi }_{\mathrm{ref}}(y\mid x)\right]\\ & =\underset{\pi }{\max }{\mathbb{E}}_{x～\mathcal{D}}{\mathbb{E}}_{y～\pi (y\mid x)}\left[r(x,y)?\beta \log \frac{\pi (y\mid x)}{{\pi }_{\mathrm{ref}}(y\mid x)}\right]\\ & =\underset{\pi }{\min }{\mathbb{E}}_{x～\mathcal{D}}{\mathbb{E}}_{y～\pi (y\mid x)}\left[\log \frac{\pi (y\mid x)}{{\pi }_{\mathrm{ref}}(y\mid x)}?\frac{1}{\beta }r(x,y)\right]\\ & =\underset{\pi }{\min }{\mathbb{E}}_{x～\mathcal{D}}{\mathbb{E}}_{y～\pi (y\mid x)}\left[\log \frac{\pi (y\mid x)}{\frac{1}{Z(x)}{\pi }_{\mathrm{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)}?\log Z(x)\right].\end{array}$$

令 $Z(x)={\sum }_y{\pi }_{\mathrm{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)$，可以將上述式子中 $\log$ 項(xiàng)分母部分轉(zhuǎn)化為一個(gè)概率分布，整體優(yōu)化目標(biāo)可以視作最小化 $\pi (y\mid x)$ 和 $\frac{1}{Z(x)}{\pi }_{\mathrm{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)$ 之間的 KL 散度。由于 $Z(x)$ 與 $\pi$ 無關(guān)，因此上述式子的最優(yōu)解 ${\pi }^{?}$ 可以表示為：
$${\pi }^{?}(y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref?}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right).$$

相對應(yīng)地，獎(jiǎng)勵(lì)模型 $r$ 也可以表示為如下形式：
$$r^{?}(x,y)=\beta \log \frac{{\pi }^{?}(y\mid x)}{{\pi }_{\mathrm{ref}}(y\mid x)}+\beta \log Z(x).$$

接下來，只要我們在獎(jiǎng)勵(lì)模型的訓(xùn)練目標(biāo)中代入上式，即可實(shí)現(xiàn)直接對最終策略 ${\pi }^{?}$ 的優(yōu)化。在獎(jiǎng)勵(lì)模型的訓(xùn)練中，通常有如下 2 種偏好排序方法：

• 只對兩個(gè)回答進(jìn)行排序，即對于 prompt $x$，回答 $y_1$ 優(yōu)于 $y_2$，對應(yīng)的優(yōu)化目標(biāo)采用 Bradley-Terry 模型進(jìn)行建模；
• 對 $K$ 個(gè)回答進(jìn)行排序，即對于 prompt $x$，排序順序?yàn)?$y_1>y_2>...>y_K$，對應(yīng)的優(yōu)化目標(biāo)采用 Plackett-Luce 模型進(jìn)行建模。

DPO Objective Under the Bradley-Terry Model

在 BT 模型下，回答 $y_1$ 優(yōu)于 $y_2$ 的概率建模如下：
$$p^{?}\left(y_1?y_2\mid x\right)=\frac{\exp \left(r^{?}\left(x,y_1\right)\right)}{\exp \left(r^{?}\left(x,y_1\right)\right)+\exp \left(r^{?}\left(x,y_2\right)\right)}.$$

代入 ${\pi }^{?}$，可以將上述式子進(jìn)行如下轉(zhuǎn)換：
$$\begin{array}{rl}{p}^{?}\left(y_1?y_2\mid x\right)& =\frac{\exp \left(\beta \log \frac{{\pi }^{?}\left(y_1\mid x\right)}{{\pi }_{\text{ref?}}\left(y_1\mid x\right)}+\beta \log Z(x)\right)}{\exp \left(\beta \log \frac{{\pi }^{?}\left(y_1\mid x\right)}{{\pi }_{\text{ref?}}\left(y_1\mid x\right)}+\beta \log Z(x)\right)+\exp \left(\beta \log \frac{{\pi }^{?}\left(y_2\mid x\right)}{{\pi }_{\text{ref?}}\left(y_2\mid x\right)}+\beta \log Z(x)\right)}\\ & =\frac{1}{1+\exp \left(\beta \log \frac{{\pi }^{?}\left(y_2\mid x\right)}{{\pi }_{\text{ref?}}\left(y_2\mid x\right)}?\beta \log \frac{{\pi }^{?}\left(y_1\mid x\right)}{{\pi }_{\text{ref?}}\left(y_1\mid x\right)}\right)}\\ & =\sigma \left(\beta \log \frac{{\pi }^{?}\left(y_1\mid x\right)}{{\pi }_{\text{ref?}}\left(y_1\mid x\right)}?\beta \log \frac{{\pi }^{?}\left(y_2\mid x\right)}{{\pi }_{\text{ref?}}\left(y_2\mid x\right)}\right).\end{array}$$

由于我們希望 $y_w$ (更符合人類偏好的回答) 的概率盡可能大于 $y_l$ (未被選中的回答)，因此整體優(yōu)化目標(biāo)可以寫作如下形式：
$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{DPO}}\left({\pi }_{\theta };{\pi }_{\mathrm{ref}}\right)& =?{\mathbb{E}}_{\left(x,y_w,y_l\right)～\mathcal{D}}[\log p(y_w?y_l\mid x)]\\ & =?{\mathbb{E}}_{\left(x,y_w,y_l\right)～\mathcal{D}}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }\left(y_w\mid x\right)}{{\pi }_{\mathrm{ref}}\left(y_w\mid x\right)}?\beta \log \frac{{\pi }_{\theta }\left(y_l\mid x\right)}{{\pi }_{\mathrm{ref}}\left(y_l\mid x\right)}\right)\right].\end{array}$$

上述優(yōu)化目標(biāo)中不包含 Reward Model，由此可以繞過訓(xùn)練 Reward Model 的環(huán)節(jié)，直接用成對的偏好數(shù)據(jù)，采用類似 SFT 的方式訓(xùn)練對齊模型。

DPO Objective Under the Plackett-Luce Model

類似地，在 PL 模型下，偏好排序 $\tau$（$y_1>y_2>...>y_K$）的概率建模如下：
$$p^{?}\left(\tau \mid y_1,\dots ,y_K,x\right)=\prod _{k=1}^K\frac{\exp \left(r^{?}\left(x,y_{\tau (k)}\right)\right)}{{\sum }_{j=k}^K\exp \left(r^{?}\left(x,y_{\tau (j)}\right)\right)}.$$

代入 ${\pi }^{?}$，可以得到如下優(yōu)化目標(biāo)（由于 $Z(x)$ 與 ${\pi }_{\theta }$ 無關(guān)，因此下式中省去了 $Z(x)$）：
$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{DPO}}\left({\pi }_{\theta };{\pi }_{\mathrm{ref}}\right)& =?{\mathbb{E}}_{\tau ,y_1,\dots ,y_K,x～\mathcal{D}}[\log p(\tau \mid y_1,\dots ,y_K,x)]\\ & =?{\mathbb{E}}_{\tau ,y_1,\dots ,y_K,x～\mathcal{D}}\left[\log \prod _{k=1}^K\frac{\exp \left(\beta \log \frac{{\pi }_{\theta }\left(y_{\tau (k)}\mid x\right)}{{\pi }_{\mathrm{ref}}\left(y_{\tau (k)}\mid x\right)}\right)}{{\sum }_{j=k}^K\exp \left(\beta \log \frac{{\pi }_{\theta }\left(y_{\tau (j)}\mid x\right)}{{\pi }_{\mathrm{ref}}\left(y_{\tau (j)}\mid x\right)}\right)}\right].\end{array}$$

Group Relative Policy Optimization (GRPO)

GRPO 是在 PPO 上的進(jìn)一步變化，其省略了 PPO 過程中對 Critic Model (Value Model) 的建模，并且不再對中間過程的 reward 進(jìn)行建模，而是直接優(yōu)化整個(gè)回答的 reward，其 Policy Model 最大化的目標(biāo)函數(shù)如下：
J G R P O ( θ ) = E [ q ～ P ( Q ) , { o i } i = 1 G ～ π θ o l d ( O ∣ q ) ] 1 G ∑ i = 1 G 1 ∣ o i ∣ ∑ t = 1 ∣ o i ∣ { min ? [ π θ ( o i , t ∣ q , o i , < t ) π θ o l d ( o i , t ∣ q , o i , < t ) A ^ i , t , clip ? ( π θ ( o i , t ∣ q , o i , < t ) π θ o l d ( o i , t ∣ q , o i , < t ) , 1 ? ε , 1 + ε ) A ^ i , t ] ? β D K L [ π θ ∣ ∣ π r e f ] } . \begin{aligned} \mathcal{J}_{G R P O}(\theta) & =\mathbb{E}\left[q \sim P(Q),\left\{o_i\right\}_{i=1}^G \sim \pi_{\theta_{o l d}}(O \mid q)\right] \\ & \frac{1}{G} \sum_{i=1}^G \frac{1}{\left|o_i\right|} \sum_{t=1}^{\left|o_i\right|}\left\{\min \left[\frac{\pi_\theta\left(o_{i, t} \mid q, o_{i,<t}\right)}{\pi_{\theta_{o l d}}\left(o_{i, t} \mid q, o_{i,<t}\right)} \hat{A}_{i, t}, \operatorname{clip}\left(\frac{\pi_\theta\left(o_{i, t} \mid q, o_{i,<t}\right)}{\pi_{\theta_{o l d}}\left(o_{i, t} \mid q, o_{i,<t}\right)}, 1-\varepsilon, 1+\varepsilon\right) \hat{A}_{i, t}\right]-\beta \mathbb{D}_{K L}\left[\pi_\theta| | \pi_{r e f}\right]\right\}. \end{aligned} JGRPO?(θ)?=E[q～P(Q),{oi?}i=1G?～πθold??(O∣q)]G1?i=1∑G?∣oi?∣1?t=1∑∣oi?∣?{min[πθold??(oi,t?∣q,oi,<t?)πθ?(oi,t?∣q,oi,<t?)?A^i,t?,clip(πθold??(oi,t?∣q,oi,<t?)πθ?(oi,t?∣q,oi,<t?)?,1?ε,1+ε)A^i,t?]?βDKL?[πθ?∣∣πref?]}.?

不同于 PPO 的優(yōu)化目標(biāo)，GRPO 一次性采樣一組輸出 { o i } i = 1 G \{o_i\}_{i=1}^G {oi?}i=1G?，其對應(yīng)的整體 reward 為 r = { r i } i = 1 G \boldsymbol{r}=\{r_i\}_{i=1}^G r={ri?}i=1G?（由 Reward Model 得到），隨后 ${\hat{A}}_{i,t}$ 被定義為 $o_i$ 所對應(yīng)的標(biāo)準(zhǔn)化后的 reward，即：
$${\hat{A}}_{i,t}={\hat{r}}_i=\frac{r_i?\text{mean}(\mathbf{r})}{\text{std}(\mathbf{r})}.$$

在復(fù)雜數(shù)學(xué)任務(wù)場景下，每個(gè) reasoning step 也有其對應(yīng)的 reward，即：
$$\mathbf{R}=\left\{\left\{r_1^{\text{index?}(1)},?,r_1^{\mathrm{index}\left(K_1\right)}\right\},?,\left\{r_G^{\mathrm{index}(1)},?,r_G^{\mathrm{index}\left(K_G\right)}\right\}\right\},$$

其中 $\text{index}(j)$ 為第 $j$ 步推理結(jié)束時(shí)的 token index，此時(shí)的 ${\hat{A}}_{i,t}$ 可以進(jìn)行如下定義：
$${\hat{A}}_{i,t}=\sum _{\text{index?}(j)\ge t}{\hat{r}}_i^{\text{index?}(j)},{\hat{r}}_i^{\text{index?}(j)}=\frac{r_i^{\text{index?}(j)}?\mathrm{mean}(\mathbf{R})}{\mathrm{std}(\mathbf{R})}.$$

另外由于上述 reward 定義中不再包含與 ${\pi }_{ref}$ 的 KL 散度約束，因此直接將 ${\mathbb{D}}_{KL}\left[{\pi }_{\theta }||{\pi }_{ref}\right]$ 顯式建模在了 ${\mathcal{J}}_{GRPO}(\theta )$ 之中，其具體式子如下：
$${\mathbb{D}}_{KL}\left[{\pi }_{\theta }||{\pi }_{ref}\right]=\frac{{\pi }_{ref}\left(o_{i,t}\mid q,o_{i,<t}\right)}{{\pi }_{\theta }\left(o_{i,t}\mid q,o_{i,<t}\right)}?\log \frac{{\pi }_{ref}\left(o_{i,t}\mid q,o_{i,<t}\right)}{{\pi }_{\theta }\left(o_{i,t}\mid q,o_{i,<t}\right)}?1,$$

上述式子為對 ${\mathbb{D}}_{KL}\left[{\pi }_{\theta }||{\pi }_{ref}\right]$ 的無偏估計(jì)，即期望相同。整體優(yōu)化算法的偽代碼如下所示：

GRPO 與 PPO 的方法對比圖如下，可以看到 GRPO 中不再需要訓(xùn)練 Value Model：

Other Discussion

除了 RLHF，也可以使用 RLAIF，即讓 LLM 自己來判斷哪個(gè)回答更好，根據(jù) LLM 判斷的結(jié)果再來微調(diào)具體的模型，判斷回答好的 LLM 既可以使用類似 GPT-4 等已有模型，甚至也可以使用正在訓(xùn)練的這個(gè)模型。

此外，RLHF 仍然面臨一個(gè)困難，即 “好” 這件事并沒有一個(gè)固定的標(biāo)準(zhǔn)，例如對于一個(gè)不太安全的問題，一個(gè)回答更考慮 Safety，而另一個(gè)回答與問題關(guān)系更密切，此時(shí)應(yīng)該選擇哪一個(gè)答案呢？另外，許多回答，即使人類來判斷，也難以辨別哪個(gè)更好，此時(shí) RLHF 又該如何繼續(xù)提升呢？

---

參考資料

• Hung-yi Lee: 生成式 AI 導(dǎo)論 2024 - 第 6 講
• Hung-yi Lee: 生成式 AI 導(dǎo)論 2024 - 第 7 講
• Hung-yi Lee: 生成式 AI 導(dǎo)論 2024 - 第 8 講
• arXiv20 GPT3 - Language Models are Few-Shot Learners
• arXiv22 Instruct GPT - Training language models to follow instructions with human feedback
• arXiv22 Self-Instruct: Aligning Language Models with Self-Generated Instructions
• arXiv23 DPO: Direct Preference Optimization: Your Language Model is Secretly a Reward Model
• arXiv24 Self-Rewarding Language Models
• arXiv24 GRPO: DeepSeekMath - Pushing the Limits of Mathematical Reasoning in Open Language Models
• 知乎 - PPO 原理與源碼解讀 / RL-PPO理論知識(shí) / DPO 數(shù)學(xué)原理 / 如何理解 PPO 和 GRPO