在自然語言處理的領(lǐng)域中，多輪對話系統(tǒng)是構(gòu)建智能化交互應(yīng)用的關(guān)鍵。無論是聊天機器人、虛擬助手，還是客戶服務(wù)系統(tǒng)，能夠保持連貫的對話并記住上下文信息是用戶體驗的核心。然而，大規(guī)模語言模型（如GPT等）的對話能力往往受限于其上下文窗口的長度，這就給實現(xiàn)超長多輪對話帶來了挑戰(zhàn)。想想很多思想的交流，都是通過不斷地對話實現(xiàn)的。（這里拋出一個問題，對于雙方對話可以很容易實現(xiàn)交互，那么對于三者及三者以上呢？現(xiàn)在有比較好的方法來實現(xiàn)嘛？）那么，如何在上下文長度有限的情況下實現(xiàn)超長多輪對話呢？這里將探討大模型如何通過多種上下文管理技術(shù)來克服這一挑戰(zhàn)，提供流暢、連貫的長時間對話體驗。

首先為什么實現(xiàn)超長多輪對話有難度？

1. 上下文窗口的限制

大多數(shù)基于Transformer架構(gòu)的語言模型有一個固定的上下文窗口限制，即模型可以處理的最大文本長度（通常以token為單位）。這個限制意味著，模型一次只能處理一定數(shù)量的文本，當對話超過這個限制時，早期的對話內(nèi)容將被裁剪掉。因此，如何管理對話歷史成為了一個關(guān)鍵問題。

1.1 什么是Token？

Token是模型處理語言的基本單元，可能是一個單詞、部分單詞，甚至是標點符號。每一輪對話中的所有單詞都會被拆分為若干個token，當這些token數(shù)量超出模型的最大處理能力時，模型就無法直接記住所有對話內(nèi)容。一般而言，對于英語文本，1個token大約是3_{4個字符；而對于中文文本，則大約是1.5}1.8個漢字。

現(xiàn)有的一些解決方案有哪些？

大致可以總結(jié)為下述方法：

	優(yōu)點	缺點
常用：拼接所有的歷史對話，長度不夠就進行截斷	簡單直接，完整存儲了歷史對話記錄，對歷史對話的理解肯定是對全面的	token消耗大，內(nèi)容冗余，超過限制會損失信息
摘要：對歷史對話記錄總結(jié)記錄	相比直接記錄歷史對話減少了冗余內(nèi)容，只抓關(guān)鍵點，大大增強了多輪對話能力	摘要效果取決于模型，模型不好可能會大量丟失關(guān)鍵信息，且需要額外的token去總結(jié)摘要
存儲	增加記憶數(shù)據(jù)庫，可以存儲更多多輪對話的內(nèi)容，在時間和容量上跨度很大	需要構(gòu)建外部記憶系統(tǒng)，并需要具備對應(yīng)的檢索能力
trunk & retrieval	綜合了上面方法的優(yōu)點	效果取決于檢索能力，關(guān)鍵點把握不住會存在語義偏差

2. 實現(xiàn)超長多輪對話的技術(shù)策略

為了應(yīng)對模型上下文窗口的限制，開發(fā)者可以使用以下幾種技術(shù)策略來實現(xiàn)超長多輪對話。

2.1 截斷歷史記錄

最直接的方式是截斷對話歷史記錄。模型將根據(jù)上下文窗口的大小，保留最近幾輪對話，而丟棄早期的內(nèi)容。這種方法簡單有效，但如果早期對話中的信息對后續(xù)交互至關(guān)重要，則可能會導致上下文信息丟失，影響對話的連貫性。

策略：

• 保留最近的對話輪次，以確保用戶與模型的當前對話具有連續(xù)性。
• 在必要時，通過詢問用戶或模型復述之前的關(guān)鍵點來重建上下文。

挑戰(zhàn)：截斷歷史記錄的主要缺點是，當早期對話包含重要信息時，信息丟失會影響后續(xù)對話的質(zhì)量。

2.2 摘要生成（Summarization）

摘要技術(shù)是一種優(yōu)化的解決方案。當對話內(nèi)容變得過長時，模型可以通過生成一個摘要，將之前的對話壓縮成一個短小的表示形式。這種方式不僅節(jié)省了上下文窗口的空間，還可以保留對話的核心信息。

實現(xiàn)方式：

• 模型在每隔幾輪對話后生成一個總結(jié)，將之前的內(nèi)容簡化為幾個關(guān)鍵點。
• 在后續(xù)對話中，使用這些摘要代替完整的對話歷史，從而保證上下文信息的持續(xù)性。

優(yōu)點：通過摘要技術(shù)，模型可以保持對重要信息的“記憶”，而不會丟失有價值的上下文。

示例： 假設(shè)用戶與模型討論了一項復雜的項目，模型可以在每輪對話結(jié)束時生成一個簡短的總結(jié)，例如：“你正在開發(fā)一個新項目，主要挑戰(zhàn)是資金不足和技術(shù)團隊擴展?！?/p>

2.3 記憶機制（Memory Mechanism）

高級對話系統(tǒng)可以通過“記憶機制”來實現(xiàn)更持久的上下文管理。雖然大多數(shù)基礎(chǔ)模型沒有“長期記憶”的概念，但在系統(tǒng)層面，可以實現(xiàn)一個外部的記憶系統(tǒng)。該系統(tǒng)在每次對話結(jié)束時保存關(guān)鍵信息，并在后續(xù)對話中根據(jù)需要將其重新引入上下文。

具體方式：

• 在每輪對話中，系統(tǒng)提取重要的用戶偏好、意圖、需求等，并存儲到一個獨立的數(shù)據(jù)庫中。
• 在后續(xù)對話中，系統(tǒng)可以根據(jù)對話內(nèi)容或特定關(guān)鍵詞，從記憶系統(tǒng)中提取相關(guān)信息，動態(tài)填充到當前的對話中。

優(yōu)勢：記憶機制可以有效地模擬長期上下文記憶，使模型在多輪對話中能夠記住用戶的偏好、需求和目標，提升用戶體驗。

2.4 外部存儲與動態(tài)調(diào)用

通過結(jié)合外部存儲系統(tǒng)，模型可以將之前的對話歷史或關(guān)鍵信息存儲在外部數(shù)據(jù)庫中，而不是完全依賴上下文窗口。在需要時，系統(tǒng)可以從存儲中動態(tài)調(diào)用這些信息并更新當前對話的上下文。這種方法對于超長時間或跨多天的對話特別有用。

工作流程：

• 每次對話結(jié)束時，重要的對話內(nèi)容被存儲在外部存儲系統(tǒng)中，如數(shù)據(jù)庫或緩存。
• 當用戶在未來的某一時刻重新與系統(tǒng)進行對話時，系統(tǒng)可以檢索之前存儲的內(nèi)容，填充到當前上下文中。

場景：假如用戶和模型討論了一周前的一個項目細節(jié)，通過外部存儲，模型可以重新加載項目的關(guān)鍵信息，而無需用戶重新解釋。

2.5 基于主題的上下文聚焦

在一些復雜對話中，用戶可能會同時涉及多個主題。為了更好地管理超長對話，模型可以使用基于主題的上下文聚焦策略。模型會識別當前對話的主題，并只保留與該主題相關(guān)的上下文，而忽略或簡化其他不相關(guān)的內(nèi)容。

示例： 如果用戶與模型討論了多個不同的項目，模型可以根據(jù)當前對話的主題選擇性地回顧與之相關(guān)的上下文，而忽略不相干的主題信息。

優(yōu)點：這種方法幫助模型在復雜多主題對話中保持清晰的上下文結(jié)構(gòu)，并避免無關(guān)信息占用上下文窗口。

注意：

1、現(xiàn)在很多大模型對上下文窗口的限制已經(jīng)優(yōu)化很多了，Qwen2 模型可以處理 32K 或 128K token 長的文本，其中 8K 長度可作為輸出。ChatGPT-4o支持128K tokens的上下文輸入，16K tokens的輸出。

2、多輪對話技術(shù)優(yōu)化主要看重時間上的跨度和有用信息的集中程度（個人理解）

3、不同技術(shù)的細節(jié)需要根據(jù)實際需求調(diào)整

參考文獻：

1、(22 封私信 / 37 條消息) 大模型如何實現(xiàn)超長多輪對話？ - 知乎 (zhihu.com)

2、解讀大模型（LLM）的token-騰訊云開發(fā)者社區(qū)-騰訊云 (tencent.com)