論文：Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models

????

Google DeepMind, ICLR 2024, arXiv:2310.06117

論文速讀

該論文受到的啟發(fā)是：人類再解決一個包含很多細節(jié)的具體問題時，先站在更高的層次上解決一些更加抽象的問題，可以拓展一個更寬闊的上下文環(huán)境，從而輔助解決這個具體的問題。

反應到 LLM 中，就是當問 LLM 一個具體的物理題目時，先讓 LLM 解決一個更加高層次的抽象問題 這個問題背后用得到物理定律或法則是什么？ ，然后再讓 LLM 去解決那個包含了很多細節(jié)的具體的物理題目，可能效果就會更好，準確率更高。

因此，本論文提出了 Step-Back 的 prompting 思路，示例如下：

如上圖所示，上半部分中，original question 是一個具體的物理問題，Step-Back Prompting 先讓 LLM 進行抽象得到一個 StepBack Question，也就是“這個物理問題背后的物理定律是什么”，然后再去檢索這個 StepBack Question 得到相關事實，然后基于以上信息去讓 LLM 做 reasoning 得到 final answer。

簡而言之，Step-Back Prompting 包含兩個簡單的步驟：

• Abstraction：先讓 LLM 根據(jù) original question 提出一個更高層次概念的 step-back question，并檢索這個 step-back question 的相關事實
• Reasoning：基于高層次概念或原則的事實，LLM 就可以去推理原始問題的解決方案了。

分析討論

StepBack Prompting 思路中的“抽象”通過去除不相關的細節(jié)和提煉高級概念或原則來指導具體問題的解決。

通過實驗分析，abstraction 對于 LLM 來說是一個簡單的任務，通過一些 few-shot exemplar 即可使用 in-context learning 來學會，但 reasoning 對于 LLM 來說仍然是最難學會的任務，在多個 error cases 上做分析，推理仍然是主要的錯誤來源。