• 文獻(xiàn)閱讀：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
  • 1. 文章簡(jiǎn)介
  • 2. 具體方法
  • 3. 實(shí)驗(yàn)結(jié)果
    • 1. 數(shù)學(xué)推理
      • 1. 實(shí)驗(yàn)設(shè)計(jì)
      • 2. 實(shí)驗(yàn)結(jié)果
      • 3. 消解實(shí)驗(yàn)
      • 4. 魯棒性考察
    • 2. 常識(shí)推理
      • 1. 實(shí)驗(yàn)設(shè)計(jì)
      • 2. 實(shí)驗(yàn)結(jié)果
    • 3. 符號(hào)推理
      • 1. 實(shí)驗(yàn)設(shè)計(jì)
      • 2. 實(shí)驗(yàn)結(jié)果
  • 4. 結(jié)論 & 思考

• 文獻(xiàn)鏈接：https://arxiv.org/abs/2201.11903

1. 文章簡(jiǎn)介

這篇文章還是一篇關(guān)于大模型的prompt調(diào)優(yōu)的文章。

這里，主體的思路是使用Chain of Thought，也就是說(shuō)把CoT的思路加入到prompt調(diào)優(yōu)當(dāng)中。和finetune當(dāng)中使用的CoT方式相似，前者是將答案推導(dǎo)的推理鏈給出然后交給模型進(jìn)行finetune，而這里，不在用于finetune，而是將其給出到few-shot learning當(dāng)中，作為例子來(lái)指導(dǎo)模型進(jìn)行生成推理，從而優(yōu)化推理過(guò)程。

下面是一個(gè)具體的CoT prompt的例子：

而CoT Prompting效果的話，我們可以從下述GSM8K上的效果上一窺大概：

可以看到，在GSM8K測(cè)試集上，CoT Prompting的效果給LLM帶來(lái)了顯著的效果提升，且超過(guò)了當(dāng)前的SOTA結(jié)果。

下面，我們就來(lái)看一下CoT Prompting的設(shè)計(jì)以及文中的實(shí)驗(yàn)考察。

2. 具體方法

關(guān)于CoT Prompting的具體方法設(shè)計(jì)，其實(shí)在上述的樣例圖中已經(jīng)展示的比較清晰了，主旨來(lái)說(shuō)，其實(shí)就是通過(guò)帶有CoT的推理鏈的few shot例子的方式教給LLM推理的思路鏈，從而使得模型可以模仿其將問(wèn)題進(jìn)行拆分從而獲得更加合理的回答。

更具體的，文中給出了CoT Prompting的4個(gè)主要的優(yōu)點(diǎn)如下：

1. CoT Prompting將問(wèn)題進(jìn)行了解構(gòu)，從而將多步的問(wèn)題拆分為了多個(gè)中間子問(wèn)題，從而使得模型在推理過(guò)程中可以獲得更多的計(jì)算，從而優(yōu)化推理準(zhǔn)確率；
2. CoT由于解構(gòu)了問(wèn)題，從而在回答過(guò)程中存在了更多的可解釋性，便于調(diào)試以及模型的自糾正；
3. 可拓展性，CoT Prompting的方式可以廣泛地用于數(shù)學(xué)問(wèn)題，常識(shí)推理以及符號(hào)推理等問(wèn)題當(dāng)中；
4. 使用上的便捷性，只需要通過(guò)幾個(gè)簡(jiǎn)單的few shot的case，就能引導(dǎo)模型進(jìn)行CoT的推理方式；

我們給出一些常見問(wèn)題當(dāng)中CoT Prompting使用的case如下：

下面，我們來(lái)看一下文中給出的一些具體的實(shí)驗(yàn)考察。

3. 實(shí)驗(yàn)結(jié)果

文中從數(shù)學(xué)推理，常識(shí)推理以及符號(hào)推理三個(gè)方面對(duì)CoT Prompting的效果進(jìn)行了具體的考察。

下面，我們來(lái)看一下其各自的實(shí)驗(yàn)結(jié)果。

1. 數(shù)學(xué)推理

1. 實(shí)驗(yàn)設(shè)計(jì)

對(duì)于數(shù)學(xué)推理的問(wèn)題，文中使用的測(cè)試數(shù)據(jù)主要包括：

1. GSM8K
2. SVAMP
3. ASDiv
4. AQuA
5. MAWPS

而關(guān)于Prompt的設(shè)計(jì)，作為control，文中使用Brown et al.(2020)給出prompt，具體可以參考圖一左側(cè)的樣例。而作為treatment，則是通過(guò)few-shot給出了CoT的樣例，同樣可以參考圖一當(dāng)中右側(cè)的樣例。

最后，關(guān)于實(shí)驗(yàn)中使用的LLM模型，具體包括以下一些：

1. GPT-3
2. LaMDA
3. PaLM
4. UL2 20B
5. Codex

2. 實(shí)驗(yàn)結(jié)果

給出文中具體的實(shí)驗(yàn)結(jié)果如下：

可以看到：

• 和早期的CoT實(shí)驗(yàn)效果相仿，對(duì)于小模型，CoT Prompting不一定能夠帶來(lái)提升，但是對(duì)于大模型，CoT Prompting可以帶來(lái)顯著的效果提升。

3. 消解實(shí)驗(yàn)

對(duì)于數(shù)學(xué)推理問(wèn)題，中文還給出了CoT Prompting的一些消解實(shí)驗(yàn)，具體考察了以下幾方面的影響：

1. 用公式替換文本描述
2. 依然只給出公式，不過(guò)公式中用變量名替換掉純數(shù)字
3. 將CoT的解釋放置到給出答案之后，而不是之前

得到的實(shí)驗(yàn)結(jié)果如下：

可以看到，普遍效果都不太好，而這些也都比較好理解：

• LLM顯然對(duì)于語(yǔ)義的理解方面做的比公式的理解能力會(huì)強(qiáng)很多；
• 前置解釋可以輔助語(yǔ)言模型對(duì)于后續(xù)答案概率的生成優(yōu)化。

4. 魯棒性考察

而除了上述實(shí)驗(yàn)之外，文中還對(duì)CoT Prompting的魯棒性進(jìn)行了考察，具體而言，通過(guò)：

1. 給出不同的人寫作的CoT Prompting進(jìn)行考察
2. 用不同的樣例作為few-shot的case

得到的結(jié)果如下：

可以看到：

• 雖然存在一定的效果波動(dòng)，不過(guò)整體而言CoT Prompting依然可以穩(wěn)定地帶來(lái)效果上的提升。

2. 常識(shí)推理

文中除了對(duì)于數(shù)學(xué)推理之外，還對(duì)常識(shí)推理進(jìn)行了一些實(shí)驗(yàn)考察。

1. 實(shí)驗(yàn)設(shè)計(jì)

我們首先來(lái)看一下常識(shí)推理的一些實(shí)驗(yàn)設(shè)計(jì)。

在數(shù)據(jù)集選擇方面，文中使用了如下一些測(cè)試數(shù)據(jù)集：

1. CSQA
2. StrategyQA
3. Date
4. Sports
5. SayCan

而關(guān)于prompt以及模型的設(shè)計(jì)，則保持和前述數(shù)學(xué)推理相一致。

2. 實(shí)驗(yàn)結(jié)果

給出文中的實(shí)驗(yàn)結(jié)果如下：

可以看到：

• 除了在CSQA數(shù)據(jù)集上沒有獲得較大的提升之外，在其他數(shù)據(jù)集上，CoT Prompting都帶來(lái)了很大的性能提升，甚至在Sports數(shù)據(jù)集上超出了人類的水平。

3. 符號(hào)推理

最后，我們來(lái)看一下文中對(duì)于符號(hào)推理的實(shí)驗(yàn)結(jié)果。

1. 實(shí)驗(yàn)設(shè)計(jì)

首先，在實(shí)驗(yàn)設(shè)計(jì)方面，其他方面同樣和之前的兩個(gè)實(shí)驗(yàn)保持一致，只有在數(shù)據(jù)集上存在區(qū)別。

具體而言，這里使用如下兩個(gè)數(shù)據(jù)集：

1. Last letter concatenation
2. Coin flip

2. 實(shí)驗(yàn)結(jié)果

給出文中的實(shí)驗(yàn)結(jié)果如下：

同樣可以看到：

• CoT可以穩(wěn)定地帶來(lái)效果提升。

4. 結(jié)論 & 思考

綜上，我們基本可以得出結(jié)論：

• 通過(guò)在few-shot learning當(dāng)中加入CoT的方式，可以使得模型在生成過(guò)程中模仿CoT的方式，從而優(yōu)化生成的結(jié)果。

這個(gè)結(jié)論本身倒是還挺好理解的，易用且有效，在這個(gè)以優(yōu)化prompt為王的時(shí)代里，倒是可以在工作當(dāng)中幫上大忙了。

不過(guò)這里我個(gè)人覺得，更本質(zhì)的特征還是如何誘導(dǎo)模型進(jìn)行CoT推理，誠(chéng)然，這里是使用了一個(gè)最直接的方式，就是在few-shot當(dāng)中直接加入樣例，但是對(duì)于一些context非常長(zhǎng)的case，這不一定可行，但是核心思路依然是可以借鑒的，在后續(xù)的prompt調(diào)優(yōu)當(dāng)中，個(gè)人覺得不失為一種優(yōu)化的思路。