做網站開店網絡營銷的未來發(fā)展趨勢
論文:Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models
????
Google DeepMind, ICLR 2024, arXiv:2310.06117
論文速讀
該論文受到的啟發(fā)是:人類再解決一個包含很多細節(jié)的具體問題時,先站在更高的層次上解決一些更加抽象的問題,可以拓展一個更寬闊的上下文環(huán)境,從而輔助解決這個具體的問題。
反應到 LLM 中,就是當問 LLM 一個具體的物理題目時,先讓 LLM 解決一個更加高層次的抽象問題 這個問題背后用得到物理定律或法則是什么?
,然后再讓 LLM 去解決那個包含了很多細節(jié)的具體的物理題目,可能效果就會更好,準確率更高。
因此,本論文提出了 Step-Back 的 prompting 思路,示例如下:

如上圖所示,上半部分中,original question 是一個具體的物理問題,Step-Back Prompting 先讓 LLM 進行抽象得到一個 StepBack Question,也就是“這個物理問題背后的物理定律是什么”,然后再去檢索這個 StepBack Question 得到相關事實,然后基于以上信息去讓 LLM 做 reasoning 得到 final answer。
簡而言之,Step-Back Prompting 包含兩個簡單的步驟:
- Abstraction:先讓 LLM 根據(jù) original question 提出一個更高層次概念的 step-back question,并檢索這個 step-back question 的相關事實
- Reasoning:基于高層次概念或原則的事實,LLM 就可以去推理原始問題的解決方案了。
分析討論
StepBack Prompting 思路中的“抽象”通過去除不相關的細節(jié)和提煉高級概念或原則來指導具體問題的解決。
通過實驗分析,abstraction 對于 LLM 來說是一個簡單的任務,通過一些 few-shot exemplar 即可使用 in-context learning 來學會,但 reasoning 對于 LLM 來說仍然是最難學會的任務,在多個 error cases 上做分析,推理仍然是主要的錯誤來源。