1 、介紹

大型語(yǔ)言模型（LLMs）在處理特定領(lǐng)域或高度專業(yè)化的查詢時(shí)存在局限性，如生成不正確信息或“幻覺(jué)”。緩解這些限制的一種有前途的方法是檢索增強(qiáng)生成（RAG），RAG就像是一個(gè)外掛，將外部數(shù)據(jù)檢索集成到生成過(guò)程中，增強(qiáng)模型提供準(zhǔn)確和相關(guān)響應(yīng)的能力。

圖1 RAG技術(shù)發(fā)展科技樹(shù)

本文主要內(nèi)容如下：

• 回顧了當(dāng)前最先進(jìn)的RAG技術(shù)，包括樸素RAG、進(jìn)階RAG和模塊RAG等范式，并闡述了它們的發(fā)展歷程。在LLM背景下，本文將RAG研究的更廣泛領(lǐng)域進(jìn)行了全面而系統(tǒng)的探討。
• 重點(diǎn)討論了RAG過(guò)程中的核心技術(shù)，特別是“檢索”、“生成”和“增強(qiáng)”這三個(gè)方面。文章深入分析了這三個(gè)組件如何協(xié)同工作，并闡明了它們?nèi)绾蜗嗷f(xié)作，形成一個(gè)有凝聚力和有效的RAG框架。
• 為RAG構(gòu)建了一個(gè)全面的評(píng)估框架，包括評(píng)估目標(biāo)和度量標(biāo)準(zhǔn)，并從多個(gè)角度分析了其優(yōu)缺點(diǎn)，同時(shí)預(yù)測(cè)了其未來(lái)發(fā)展方向和潛在增強(qiáng)。此外，還強(qiáng)調(diào)了解決當(dāng)前挑戰(zhàn)的擴(kuò)展和生態(tài)系統(tǒng)的發(fā)展。

2 定義

RAG是一種通過(guò)整合外部知識(shí)庫(kù)來(lái)增強(qiáng)LLMs的模式，采用協(xié)同方法，結(jié)合信息檢索機(jī)制和上下文學(xué)習(xí)（ICL）來(lái)提高LLM的性能。RAG工作流程包括三個(gè)關(guān)鍵步驟：首先，語(yǔ)料庫(kù)被劃分為離散塊，然后使用編碼器模型構(gòu)建向量索引。其次，RAG根據(jù)其與查詢和索引塊的向量相似性來(lái)識(shí)別和檢索塊。最后，模型合成一個(gè)響應(yīng)，條件于檢索到的塊中獲取的上下文信息。這些步驟構(gòu)成了RAG過(guò)程的根本框架，支持其信息檢索和上下文感知生成能力。RAG的關(guān)鍵優(yōu)勢(shì)在于它不需要為特定任務(wù)重新訓(xùn)練LLM，開(kāi)發(fā)人員可以添加外部知識(shí)庫(kù)，豐富輸入并從而改進(jìn)模型輸出精度。

圖 2 RAG 技術(shù)在 QA 問(wèn)題中的案例

3 RAG框架

RAG研究范式經(jīng)歷了不斷演變的過(guò)程，主要分為樸素RAG、進(jìn)階RAG和模塊RAG三種類型。雖然RAG具有成本效益并超過(guò)了原生LLM的性能，但也表現(xiàn)出一些局限性。為了應(yīng)對(duì)樸素RAG中的特定缺點(diǎn)，開(kāi)發(fā)了進(jìn)階RAG和模塊RAG。

3.1 樸素RAG

樸素RAG遵循一個(gè)傳統(tǒng)流程，包括索引、檢索和生成。

索引。數(shù)據(jù)準(zhǔn)備過(guò)程中的索引是關(guān)鍵初始步驟，涉及多個(gè)階段，從數(shù)據(jù)清理和提取到文件格式轉(zhuǎn)換和切分，再到嵌入模型轉(zhuǎn)化為向量表示和創(chuàng)建索引。索引為檢索階段的相似性比較提供了便利，并存儲(chǔ)了文本部分和它們的向量嵌入作為鍵值對(duì)，為高效和可擴(kuò)展的搜索能力提供了可能。

檢索。系統(tǒng)對(duì)用戶查詢進(jìn)行轉(zhuǎn)碼，生成向量的表示形式，并計(jì)算查詢向量與索引語(yǔ)料庫(kù)中塊之間的相似度分?jǐn)?shù)。系統(tǒng)優(yōu)先檢索出與查詢最相似的塊，并用作擴(kuò)展上下文的基礎(chǔ)，以響應(yīng)用戶的請(qǐng)求。

生成。大型語(yǔ)言模型被用于根據(jù)提示合成文檔來(lái)制定響應(yīng)，允許它利用參數(shù)知識(shí)或限制在提供文檔中的信息。對(duì)話歷史也可集成到提示中以進(jìn)行多輪對(duì)話交互。模型回答問(wèn)題的方法可能因特定任務(wù)標(biāo)準(zhǔn)而異。

Naive RAG 的缺點(diǎn)。Naive RAG在檢索、生成和增強(qiáng)三個(gè)關(guān)鍵領(lǐng)域面臨挑戰(zhàn)。檢索質(zhì)量低，導(dǎo)致不匹配的塊、幻覺(jué)、空中掉落等問(wèn)題，阻礙了構(gòu)建全面響應(yīng)的能力。生成質(zhì)量引發(fā)幻覺(jué)挑戰(zhàn)，即模型生成的答案沒(méi)有基于提供的上下文，存在無(wú)關(guān)上下文和潛在毒性或偏見(jiàn)的問(wèn)題。增強(qiáng)過(guò)程難以有效地結(jié)合檢索段落中的上下文與當(dāng)前生成任務(wù)，導(dǎo)致輸出不連貫或不一致。重復(fù)和冗余也是問(wèn)題，需要確定檢索段落的重要性和相關(guān)性，并協(xié)調(diào)不同的寫作風(fēng)格和語(yǔ)氣。生成模型過(guò)度依賴增強(qiáng)信息存在風(fēng)險(xiǎn)，可能導(dǎo)致輸出僅重申檢索到的內(nèi)容，沒(méi)有提供新的價(jià)值或綜合信息。

3.2 進(jìn)階RAG

進(jìn)階RAG通過(guò)增強(qiáng)有針對(duì)性的檢索策略和改進(jìn)索引方法來(lái)彌補(bǔ)Naive RAG的缺點(diǎn)。它實(shí)施了預(yù)檢索和后檢索策略，并采用了滑動(dòng)窗口、細(xì)粒度分割和元數(shù)據(jù)等技術(shù)來(lái)改進(jìn)索引方法。此外，還引入了各種方法來(lái)優(yōu)化檢索過(guò)程，如ILIN。

預(yù)檢索過(guò)程。優(yōu)化數(shù)據(jù)索引可以提高索引內(nèi)容的質(zhì)量，從而提高RAG系統(tǒng)的性能。這涉及五個(gè)主要策略：增強(qiáng)數(shù)據(jù)粒度、優(yōu)化索引結(jié)構(gòu)、添加元數(shù)據(jù)、對(duì)齊優(yōu)化和混合檢索。增強(qiáng)數(shù)據(jù)粒度旨在提高文本標(biāo)準(zhǔn)化的程度和上下文豐富性，優(yōu)化索引結(jié)構(gòu)包括調(diào)整塊大小和利用圖數(shù)據(jù)索引整合信息，添加元數(shù)據(jù)信息用于過(guò)濾和整合元數(shù)據(jù)以提高檢索效率，對(duì)齊優(yōu)化處理文檔之間的對(duì)齊問(wèn)題和差異。

檢索階段。在檢索階段，通過(guò)計(jì)算查詢和塊之間的相似性來(lái)確定適當(dāng)?shù)纳舷挛?#xff0c;嵌入模型是核心。微調(diào)嵌入模型可以增強(qiáng)特定領(lǐng)域上下文中的檢索相關(guān)性，動(dòng)態(tài)嵌入會(huì)根據(jù)使用的上下文進(jìn)行適應(yīng)。像BERT這樣的轉(zhuǎn)換器模型可以捕獲上下文理解，但可能不如最新全尺寸語(yǔ)言模型對(duì)上下文敏感。

后檢索過(guò)程。從數(shù)據(jù)庫(kù)檢索到的有價(jià)值上下文與查詢合并后，應(yīng)對(duì)上下文窗口限制帶來(lái)的挑戰(zhàn)，對(duì)檢索到的內(nèi)容進(jìn)行重新排名和提示壓縮是關(guān)鍵策略。重新排名方法包括根據(jù)文檔多樣性優(yōu)先級(jí)、在上下文窗口的開(kāi)頭和結(jié)尾交替放置最好的文檔、重新計(jì)算相關(guān)文本和查詢之間的語(yǔ)義相似性等。提示壓縮方法包括利用小型語(yǔ)言模型來(lái)計(jì)算提示的互信息或困惑度，以及設(shè)計(jì)摘要技術(shù)來(lái)增強(qiáng)LLM的關(guān)鍵信息感知等。

3.3 模塊RAG

圖3 RAG 范式對(duì)比圖

模塊RAG結(jié)構(gòu)是一種新型的RAG框架，具有更大的靈活性和適應(yīng)性，可以整合各種方法來(lái)增強(qiáng)功能模塊，并解決特定問(wèn)題。模塊RAG范式正逐漸成為常態(tài)，允許在多個(gè)模塊之間進(jìn)行串行流水線或端到端訓(xùn)練方法。進(jìn)階RAG是模塊RAG的一種專門形式，而Naive RAG是進(jìn)階RAG的一個(gè)特殊情況。這三個(gè)范式之間的關(guān)系是繼承和發(fā)展關(guān)系。

新模塊搜索模塊針對(duì)特定場(chǎng)景定制，并納入了額外語(yǔ)料庫(kù)的直接搜索，通過(guò)LLM生成的代碼、查詢語(yǔ)言和其他定制工具實(shí)現(xiàn)集成，數(shù)據(jù)源包括搜索引擎、文本數(shù)據(jù)、表格數(shù)據(jù)和知識(shí)圖譜。

記憶模塊利用LLM的記憶能力引導(dǎo)檢索，識(shí)別與當(dāng)前輸入最相似的記憶，并通過(guò)檢索增強(qiáng)生成器迭代創(chuàng)建無(wú)界記憶池，使文本在推理過(guò)程中與數(shù)據(jù)分布更加一致。

融合方法通過(guò)采用多查詢方法增強(qiáng)傳統(tǒng)搜索系統(tǒng)，使用LLM將用戶查詢擴(kuò)展到多個(gè)不同的視角，揭示更深層次的變革性知識(shí)。融合過(guò)程包括對(duì)原始和擴(kuò)展查詢的并行向量搜索，智能重新排名以優(yōu)化結(jié)果，并將最佳結(jié)果與新查詢配對(duì)。

RAG系統(tǒng)檢索過(guò)程利用多種來(lái)源，根據(jù)情況交替或合并使用，查詢路由決定用戶查詢的后續(xù)操作，包括摘要、搜索特定數(shù)據(jù)庫(kù)或?qū)⒉煌窂胶喜閱蝹€(gè)響應(yīng)。查詢路由器選擇適合查詢的數(shù)據(jù)存儲(chǔ)，決策是預(yù)定義的，通過(guò)LLM調(diào)用執(zhí)行。

預(yù)測(cè)模塊利用LLM生成必要內(nèi)容，解決檢索內(nèi)容中的冗余和噪聲問(wèn)題，生成的內(nèi)容更有可能包含相關(guān)信息。

任務(wù)適配器使RAG適應(yīng)各種下游任務(wù)，UPRISE自動(dòng)從預(yù)構(gòu)建數(shù)據(jù)池檢索提示，支持零樣本任務(wù)輸入，增強(qiáng)跨任務(wù)和模型通用性。PROMPTAGATOR將LLM用作少數(shù)樣本查詢生成器，創(chuàng)建特定于任務(wù)檢索器，利用少量示例開(kāi)發(fā)特定于任務(wù)的端到端檢索器。

新模式

模塊RAG具有高度的適應(yīng)性，允許在RAG過(guò)程中替換或重新排列模塊以適應(yīng)特定問(wèn)題情境。當(dāng)前研究主要探索兩種組織范式，一種是添加或替換模塊，另一種是調(diào)整模塊之間的組織流程。這些靈活性使得可以根據(jù)需要定制RAG過(guò)程，從而有效地處理各種任務(wù)。

優(yōu)化RAG管道

優(yōu)化RAG管道以提高信息效率和信息質(zhì)量，通過(guò)整合各種搜索技術(shù)、改進(jìn)檢索步驟、融入認(rèn)知回溯、實(shí)施多功能的查詢策略和利用嵌入相似性，實(shí)現(xiàn)檢索效率和上下文信息的深度之間的平衡?；旌纤阉魈剿鳌⑦f歸檢索和查詢引擎、后退提示方法、子查詢和假設(shè)文檔嵌入等方法被用于優(yōu)化RAG管道。這些方法有助于生成對(duì)后退提示的響應(yīng)和最終的答案生成過(guò)程。然而，這種方法可能不會(huì)始終產(chǎn)生令人滿意的結(jié)果，特別是當(dāng)語(yǔ)言模型對(duì)主題不熟悉時(shí)，可能會(huì)導(dǎo)致更多的錯(cuò)誤實(shí)例。

4 檢索

在RAG中，高效檢索相關(guān)文檔的關(guān)鍵在于解決三個(gè)問(wèn)題：1)如何實(shí)現(xiàn)精確的語(yǔ)義表示；2)如何協(xié)調(diào)查詢和文檔的語(yǔ)義空間；3)如何使檢索器的輸出與大型語(yǔ)言模型的偏好相協(xié)調(diào)。

4.1 加強(qiáng)語(yǔ)義表示

RAG中的語(yǔ)義空間對(duì)于查詢和文檔的多維映射至關(guān)重要，其檢索精度對(duì)結(jié)果影響顯著。本節(jié)將介紹兩種建立準(zhǔn)確語(yǔ)義空間的方法。

塊優(yōu)化

管理外部文檔時(shí)，確定適當(dāng)?shù)膲K大小對(duì)于確保檢索結(jié)果的準(zhǔn)確性和相關(guān)性至關(guān)重要。選擇適當(dāng)?shù)膲K化策略需要考慮索引內(nèi)容的性質(zhì)、嵌入模型、用戶查詢的預(yù)期長(zhǎng)度和復(fù)雜性以及應(yīng)用程序的使用情況。目前，RAG領(lǐng)域的研究探索了各種塊優(yōu)化技術(shù)，以提高檢索效率和準(zhǔn)確性。摘要嵌入技術(shù)、元數(shù)據(jù)篩選技術(shù)和圖索引技術(shù)等多樣化方法的結(jié)合已經(jīng)取得了顯著的進(jìn)步，從而提高了檢索結(jié)果和RAG的性能。

微調(diào)嵌入模型

一旦確定了塊大小，下一步就是使用嵌入模型將塊和查詢嵌入到語(yǔ)義空間中。嵌入模型的有效性至關(guān)重要，因?yàn)樗鼤?huì)影響模型表示語(yǔ)料庫(kù)的能力。最近的研究引入了諸如AngIE、Voyage、BGE等著名的嵌入模型。這些模型在廣泛的語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練，但在專門領(lǐng)域時(shí)，它們準(zhǔn)確捕捉特定領(lǐng)域信息的能力可能有限。針對(duì)特定任務(wù)的嵌入微調(diào)對(duì)于確保模型能夠以內(nèi)容相關(guān)性的方式理解用戶查詢至關(guān)重要。嵌入微調(diào)方法主要有兩種主要范式：領(lǐng)域知識(shí)微調(diào)和下游任務(wù)的微調(diào)。領(lǐng)域知識(shí)微調(diào)需要使用領(lǐng)域特定的數(shù)據(jù)集，而模型微調(diào)的數(shù)據(jù)集包括查詢、語(yǔ)料庫(kù)和相關(guān)文檔。下游任務(wù)的微調(diào)是提高模型性能的關(guān)鍵步驟，例如PROMPTAGATOR和LLM-Embedder等方法利用LLM的能力對(duì)嵌入模型進(jìn)行微調(diào)。

4.2 對(duì)齊查詢和文檔

RAG應(yīng)用中，檢索器可以使用嵌入模型編碼查詢和文檔，或?yàn)槊總€(gè)使用不同模型。原始查詢可能因不精確措辭和缺乏語(yǔ)義信息而受影響，因此，將用戶查詢的語(yǔ)義空間與文檔的語(yǔ)義空間對(duì)齊至關(guān)重要。本節(jié)介紹兩種基本技術(shù)實(shí)現(xiàn)這種對(duì)齊。

查詢重寫

查詢重寫是一種用于對(duì)齊查詢和文檔語(yǔ)義的方法，通過(guò)將原始查詢與額外指導(dǎo)結(jié)合來(lái)創(chuàng)建偽文檔，或使用文本線索構(gòu)建查詢向量以生成“假設(shè)”文檔，或改變傳統(tǒng)的檢索和閱讀順序，專注于查詢重寫，或利用LLM進(jìn)行高級(jí)概念抽象推理和檢索。多查詢檢索方法也利用LLM同時(shí)生成并執(zhí)行多個(gè)搜索查詢，以處理具有多個(gè)子問(wèn)題的復(fù)雜問(wèn)題。

嵌入變換

LlamaIndex通過(guò)引入適配器模塊，優(yōu)化查詢嵌入的表示，將其映射到與預(yù)期任務(wù)更緊密對(duì)齊的潛在空間中。SANTA通過(guò)兩種預(yù)訓(xùn)練策略增強(qiáng)檢索器對(duì)結(jié)構(gòu)化信息的敏感性：首先，利用結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)之間的內(nèi)在對(duì)齊來(lái)指導(dǎo)結(jié)構(gòu)化意識(shí)下的預(yù)訓(xùn)練方案中的對(duì)比學(xué)習(xí)；其次，實(shí)施掩碼實(shí)體預(yù)測(cè)，鼓勵(lì)語(yǔ)言模型預(yù)測(cè)并填充被掩碼的實(shí)體，從而促進(jìn)對(duì)結(jié)構(gòu)化數(shù)據(jù)的深入理解。SANTA特別處理了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)之間的差異，通過(guò)將查詢與結(jié)構(gòu)化外部文檔對(duì)齊，提高檢索器識(shí)別結(jié)構(gòu)化信息的能力。

4.3 對(duì)齊檢索器和LLM

在RAG管道中，提高檢索命中率不一定能改善最終結(jié)果，因?yàn)闄z索到的文檔可能不滿足LLMs的需求。本部分將介紹兩種將檢索器輸出與LLMs偏好對(duì)齊的方法。

微調(diào)檢索器

幾種研究利用來(lái)自語(yǔ)言模型（LLMs）的反饋信號(hào)來(lái)完善檢索模型。其中，Yu等人使用編碼器-解碼器架構(gòu)為檢索器提供監(jiān)督信號(hào)，通過(guò)FiD跨注意力分?jǐn)?shù)識(shí)別LM的偏好文檔，并使用難負(fù)采樣和標(biāo)準(zhǔn)交叉熵?fù)p失對(duì)檢索器進(jìn)行微調(diào)。此外，還建議LLMs可能更傾向于關(guān)注可讀性文檔而不是信息豐富的文檔。Shi等人利用檢索器和LLM來(lái)計(jì)算檢索到的文檔的概率分布，通過(guò)KL散度進(jìn)行監(jiān)督訓(xùn)練。UPRISE使用凍結(jié)的LLM來(lái)微調(diào)檢索器，通過(guò)LLM提供的分?jǐn)?shù)來(lái)監(jiān)督檢索器的訓(xùn)練。此外，還提出了四種監(jiān)督微調(diào)嵌入模型的方法，以提高檢索器和LLM之間的協(xié)同作用，從而提高檢索性能和更準(zhǔn)確地響應(yīng)用戶查詢。

適配器

微調(diào)模型時(shí)可能會(huì)遇到挑戰(zhàn)，如通過(guò)API集成功能或解決本地計(jì)算資源有限的問(wèn)題。一些方法選擇采用外部適配器來(lái)幫助對(duì)齊。PRCA通過(guò)上下文提取階段和獎(jiǎng)勵(lì)驅(qū)動(dòng)階段來(lái)訓(xùn)練適配器，并使用基于令牌的自回歸策略優(yōu)化檢索器的輸出。此外，PKG介紹了一種創(chuàng)新方法，通過(guò)指令微調(diào)將知識(shí)集成到白盒模型中，這種方法有助于解決微調(diào)過(guò)程中遇到的困難，并提高模型性能。此外，RECOMP引入了提取和生成壓縮器，用于摘要生成。

5 生成

RAG的關(guān)鍵組成部分之一是生成器，它負(fù)責(zé)將檢索到的信息轉(zhuǎn)換為連貫、流暢的文本。生成器通過(guò)整合檢索到的數(shù)據(jù)來(lái)提高準(zhǔn)確性和相關(guān)性，并受到檢索到的文本的指導(dǎo)以確保生成的文本與檢索到的信息之間的一致性。這種全面的輸入使生成器能夠深入了解問(wèn)題的上下文，提供更有信息和上下文相關(guān)的響應(yīng)。生成器的引入有助于改進(jìn)大型模型對(duì)輸入數(shù)據(jù)的適應(yīng)能力。

5.1 使用冷凍LLM進(jìn)行后檢索

在不可調(diào)用的LLM領(lǐng)域，研究依賴GPT-4等大型模型合成信息，但存在上下文長(zhǎng)度限制和易受冗余信息影響的問(wèn)題。為解決這些問(wèn)題，研究轉(zhuǎn)向后檢索處理，涉及處理、過(guò)濾或優(yōu)化從大型文檔數(shù)據(jù)庫(kù)中檢索的相關(guān)信息，以提高檢索結(jié)果質(zhì)量，使其更符合用戶需求或后續(xù)任務(wù)。后檢索處理中的常見(jiàn)操作包括信息壓縮和結(jié)果重新排名。

信息壓縮

大型語(yǔ)言模型的上下文長(zhǎng)度限制是一個(gè)挑戰(zhàn)，信息壓縮對(duì)于減少噪音、解決上下文長(zhǎng)度限制和增強(qiáng)生成效應(yīng)具有重要意義。PRCA和RECOMP是兩個(gè)研究項(xiàng)目，它們分別通過(guò)訓(xùn)練信息提取器和使用對(duì)比學(xué)習(xí)訓(xùn)練信息壓縮器來(lái)解決這個(gè)問(wèn)題。另一個(gè)研究項(xiàng)目提出了“Filter-Reranker”范式，結(jié)合了LLMs和小語(yǔ)言模型（SLMs）的優(yōu)勢(shì)，以減少文檔數(shù)量以提高模型回答的準(zhǔn)確性。

重新排序

重新排序模型在優(yōu)化檢索器檢索的文檔集合方面起著重要作用，通過(guò)重新排列文檔記錄，優(yōu)先考慮最相關(guān)的項(xiàng)目，從而限制文檔總數(shù)，提高檢索效率和響應(yīng)速度。這種方法還納入了上下文壓縮，以提供更精確的檢索信息。重新排序模型在整個(gè)信息檢索過(guò)程中扮演雙重角色，既是優(yōu)化者又是細(xì)化者。

5.2 針對(duì)RAG的微調(diào)LLM

優(yōu)化RAG模型中的生成器是關(guān)鍵方面，生成器的角色是接收檢索到的信息并生成相關(guān)文本。為了適應(yīng)輸入查詢和檢索到的文檔，對(duì)模型進(jìn)行微調(diào)變得至關(guān)重要。在RAG中，生成器的微調(diào)方法與LLM的一般微調(diào)方法一致。為了提高生成器的性能，需要后處理檢索到的文檔，并使用代表性工作進(jìn)行數(shù)據(jù)和優(yōu)化函數(shù)的探索。

總體優(yōu)化過(guò)程

總體優(yōu)化過(guò)程的一部分是訓(xùn)練數(shù)據(jù)通常包括輸入-輸出對(duì)，旨在訓(xùn)練模型根據(jù)輸入x生成輸出y。自我記憶的工作中，采用了一種傳統(tǒng)的訓(xùn)練過(guò)程，其中給定輸入x，檢索相關(guān)文檔z，在整合（x，z）后，模型生成輸出y。訓(xùn)練數(shù)據(jù)通常包括輸入-輸出對(duì)，旨在訓(xùn)練模型根據(jù)輸入生成輸出。在聯(lián)合編碼器和雙編碼器范式中，使用基于編碼器-解碼器的標(biāo)準(zhǔn)模型或兩個(gè)獨(dú)立的編碼器對(duì)輸入和文檔進(jìn)行編碼，然后使用解碼器進(jìn)行雙向跨注意力處理。這兩種架構(gòu)都使用Transformer作為基礎(chǔ)塊并進(jìn)行優(yōu)化。

利用對(duì)比學(xué)習(xí)

在訓(xùn)練語(yǔ)言模型時(shí)，傳統(tǒng)的方法可能導(dǎo)致“曝光偏差”，即模型只根據(jù)單個(gè)、正確的輸出示例進(jìn)行訓(xùn)練，限制了其對(duì)各種可能輸出的范圍。為了解決這個(gè)問(wèn)題，SURGE提出了使用圖-文本對(duì)比學(xué)習(xí)的方法，可以促使模型產(chǎn)生一系列可能且連貫的響應(yīng)，減少過(guò)擬合，加強(qiáng)模型泛化能力。對(duì)于涉及結(jié)構(gòu)化數(shù)據(jù)的檢索任務(wù)，SANTA框架實(shí)施了三部分訓(xùn)練方案，包括檢索器、生成器初步訓(xùn)練階段和生成器訓(xùn)練的另一個(gè)階段，有效地封裝了結(jié)構(gòu)和語(yǔ)義的微妙差異，培養(yǎng)了模型對(duì)文本數(shù)據(jù)結(jié)構(gòu)語(yǔ)義的理解，并促進(jìn)了結(jié)構(gòu)化數(shù)據(jù)中相關(guān)實(shí)體的對(duì)齊。

6 RAG的增強(qiáng)

RAG發(fā)展的三大關(guān)鍵技術(shù)：增強(qiáng)階段、數(shù)據(jù)來(lái)源和過(guò)程。圖4展示了RAG核心組件的分類。

圖4 RAG的核心組件的分類體系

6.1 RAG的增強(qiáng)階段

RAG是一個(gè)知識(shí)密集型工作，在語(yǔ)言模型訓(xùn)練的預(yù)訓(xùn)練、微調(diào)和推理階段，融入了各種技術(shù)方法。

預(yù)訓(xùn)練階段

在預(yù)訓(xùn)練階段，研究人員通過(guò)基于檢索的策略來(lái)加強(qiáng)開(kāi)放域QA的PTMs。REALM模型采用結(jié)構(gòu)化的可解釋方法進(jìn)行知識(shí)嵌入，并利用檢索增強(qiáng)進(jìn)行大規(guī)模預(yù)訓(xùn)練。RETRO從頭開(kāi)始利用檢索增強(qiáng)進(jìn)行預(yù)訓(xùn)練，并減少模型參數(shù)以實(shí)現(xiàn)困惑度上的超越標(biāo)準(zhǔn)GPT模型。COG引入了一種新穎的文本生成方法，模擬從現(xiàn)有集合復(fù)制文本片段。增強(qiáng)預(yù)訓(xùn)練方法具有強(qiáng)大的性能和參數(shù)利用率，但面臨著挑戰(zhàn)，如需要大量的預(yù)訓(xùn)練數(shù)據(jù)集和資源，以及隨著模型規(guī)模增加而減少的更新頻率。實(shí)證證據(jù)突顯了這種方法在知識(shí)密集型應(yīng)用中的顯著改善。

微調(diào)階段

RAG與微調(diào)是強(qiáng)化LLM的重要工具，兩者結(jié)合能更好地滿足特定場(chǎng)景需求。微調(diào)檢索器能優(yōu)化語(yǔ)義表示，協(xié)調(diào)檢索與生成模型，提升通用性和適應(yīng)性。微調(diào)生成器則能定制化和風(fēng)格化輸出，適應(yīng)不同輸入格式，構(gòu)建特定指令數(shù)據(jù)集。協(xié)同微調(diào)能增強(qiáng)模型通用性，避免過(guò)擬合，但資源消耗較大。雖然微調(diào)需要專用數(shù)據(jù)集和大量計(jì)算資源，但能減少預(yù)訓(xùn)練資源消耗，定制模型以滿足特定需求?？傊?#xff0c;微調(diào)對(duì)RAG模型適應(yīng)特定任務(wù)至關(guān)重要，能完善檢索與生成器，增強(qiáng)模型多樣性和適應(yīng)性。

推理階段

RAG模型的推理階段十分重要，與LLM的集成廣泛。傳統(tǒng)RAG在推理階段引入檢索內(nèi)容來(lái)指導(dǎo)生成。為改進(jìn)，先進(jìn)技術(shù)在推理中引入了更豐富語(yǔ)境的信息。DSP框架在frontier LMs和檢索模型間進(jìn)行自然語(yǔ)言文本交換，豐富了上下文，改善了生成結(jié)果。PKG方法為L(zhǎng)LMs配備了知識(shí)引導(dǎo)模塊，可檢索信息以執(zhí)行復(fù)雜任務(wù)，無(wú)需修改LLMs參數(shù)。CREAICL采用跨語(yǔ)言知識(shí)的同步檢索來(lái)增強(qiáng)上下文，RECITE通過(guò)從LLMs中直接采樣段落來(lái)生成上下文。ITRG通過(guò)迭代檢索識(shí)別正確的推理路徑，提高任務(wù)適應(yīng)性。ITERRETGEN采用迭代策略，將檢索和生成合并為一個(gè)循環(huán)過(guò)程，交替進(jìn)行“檢索增強(qiáng)生成”和“生成增強(qiáng)檢索”。這些增強(qiáng)提供了輕量級(jí)、經(jīng)濟(jì)高效的替代方案，能利用預(yù)訓(xùn)練模型的能力而無(wú)需進(jìn)一步訓(xùn)練。

6.2 增強(qiáng)源

RAG模型需要增強(qiáng)數(shù)據(jù)源的選擇，不同層次的知識(shí)和維度需要不同的處理技術(shù)。最初，增強(qiáng)主要通過(guò)純文本等非結(jié)構(gòu)化數(shù)據(jù)實(shí)現(xiàn)，后來(lái)擴(kuò)大到包括使用結(jié)構(gòu)化數(shù)據(jù)進(jìn)行進(jìn)一步改進(jìn)，最近還越來(lái)越多地采用利用LLM自身生成的內(nèi)容進(jìn)行檢索和增強(qiáng)的趨勢(shì)。這些增強(qiáng)方法對(duì)RAG模型的有效性產(chǎn)生重大影響。

結(jié)合無(wú)結(jié)構(gòu)數(shù)據(jù)

從語(yǔ)料庫(kù)中收集的無(wú)結(jié)構(gòu)文本用于微調(diào)大型模型，提供了細(xì)粒度的精度，但增加了檢索的復(fù)雜性。一種主動(dòng)檢索方法由模型生成低概率單詞觸發(fā)，創(chuàng)建臨時(shí)句子，用檢索到的上下文重新生成句子以預(yù)測(cè)后續(xù)句子。另一種方法使用前一塊的上下文指導(dǎo)下一塊的生成，保持因果關(guān)系，只利用前一個(gè)塊的最近鄰居。這些方法有助于提高文檔檢索的精度。

結(jié)合結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)，如知識(shí)圖譜(KGs)，為模型提供了高質(zhì)量的上下文信息，有助于緩解模型幻覺(jué)。RET-LLMs從過(guò)去的對(duì)話中構(gòu)建知識(shí)圖譜記憶，SUGRE使用GNN編碼相關(guān)的KG子圖并確保檢索到的信息和生成的文本之間的一致性，KnowledGPT生成KB搜索查詢并將知識(shí)存儲(chǔ)在個(gè)性化基礎(chǔ)上。

在RAG中利用LLMs生成的文本

為了解決RAG中外部輔助信息存在的局限性，一些研究專注于利用LLM的內(nèi)部知識(shí)。其中，一些方法將問(wèn)題分為已知或未知，選擇性地應(yīng)用檢索增強(qiáng)。其他方法則將LLM生成器用于取代檢索器，通過(guò)迭代創(chuàng)建與檢索增強(qiáng)生成器無(wú)界的內(nèi)存池，使用內(nèi)存選擇器來(lái)選擇作為原始問(wèn)題的雙重問(wèn)題的輸出，從而自我增強(qiáng)生成模型。

這些方法強(qiáng)調(diào)了RAG中創(chuàng)新數(shù)據(jù)源利用的廣泛性，旨在提高模型性能和任務(wù)有效性。

6.3 增強(qiáng)過(guò)程

在RAG領(lǐng)域，單一檢索步驟和生成可能導(dǎo)致效率低下，并出現(xiàn)“迷失在中間”現(xiàn)象。為了解決這些問(wèn)題，當(dāng)代研究提出了改進(jìn)檢索過(guò)程的方法，包括迭代檢索、遞歸檢索和自適應(yīng)檢索。迭代檢索增強(qiáng)所獲得信息的深度和相關(guān)性，遞歸檢索用于處理復(fù)雜或多步查詢，特別是需要逐步接近最終答案的場(chǎng)景，而自適應(yīng)檢索提供動(dòng)態(tài)調(diào)整機(jī)制以適應(yīng)不同任務(wù)和情境。

圖5 具有不同增強(qiáng)方面的代表性 RAG 研究的技術(shù)樹(shù)圖譜

迭代檢索

RAG模型中的迭代檢索通過(guò)多次檢索迭代提供額外的上下文參考，增強(qiáng)了后續(xù)答案生成的魯棒性。為了解決特定數(shù)據(jù)場(chǎng)景，使用遞歸檢索和多跳檢索技術(shù)。一些方法論將檢索和生成的步驟結(jié)合起來(lái)，利用協(xié)同方法，利用所需的內(nèi)容作為檢索相關(guān)知識(shí)的上下文基礎(chǔ)來(lái)解決問(wèn)題，從而促進(jìn)在隨后的迭代中生成改進(jìn)的響應(yīng)。

遞歸檢索

遞歸檢索是一種優(yōu)化搜索結(jié)果的反饋循環(huán)過(guò)程，通過(guò)反復(fù)改進(jìn)搜索查詢來(lái)提高搜索結(jié)果的深度和相關(guān)性。該過(guò)程使用思維鏈或澄清樹(shù)等工具來(lái)指導(dǎo)檢索過(guò)程，并使用獲得的檢索結(jié)果來(lái)改進(jìn)思維鏈或優(yōu)化查詢中的模糊部分。遞歸檢索允許不斷學(xué)習(xí)和適應(yīng)用戶需求，通常能提高搜索結(jié)果的滿意度。

自適應(yīng)檢索

自適應(yīng)檢索方法通過(guò)使LLM主動(dòng)確定檢索的最佳時(shí)間和內(nèi)容來(lái)改進(jìn)RAG框架，從而提高檢索信息的效率和相關(guān)性。這些方法包括使用強(qiáng)化學(xué)習(xí)框架、自我反思令牌和自動(dòng)監(jiān)測(cè)生成過(guò)程的置信度等手段。LLM優(yōu)化引起了人們的極大關(guān)注，優(yōu)化方法包括提示工程、微調(diào)（FT）和RAG等，如圖6所示，需要根據(jù)特定場(chǎng)景的要求和每個(gè)方法的固有屬性進(jìn)行選擇，RAG和FT的詳細(xì)比較請(qǐng)參見(jiàn)表1。

圖6 RAG與其他模型優(yōu)化方法的比較

表1 RAG與微調(diào)之間的比較

6.4 RAG與微調(diào)的比較

RAG和FT是兩種不同的信息檢索模型訓(xùn)練方法，RAG適合特定查詢，FT適合內(nèi)化知識(shí)。FT可以通過(guò)強(qiáng)化基礎(chǔ)模型知識(shí)、調(diào)整輸出和教授復(fù)雜指令來(lái)提高模型性能和效率，但不適合整合新知識(shí)或快速迭代新用途。RAG和FT并非相互排斥，可以相互補(bǔ)充，在不同層次上增強(qiáng)模型能力。優(yōu)化涉及RAG和FT的過(guò)程可能需要多次迭代才能達(dá)到滿意結(jié)果。

7 RAG評(píng)估

自然語(yǔ)言處理領(lǐng)域中RAG的快速發(fā)展和廣泛應(yīng)用推動(dòng)了法律語(yǔ)言學(xué)社區(qū)的前沿研究。評(píng)估的主要目的是理解和優(yōu)化RAG模型在不同應(yīng)用場(chǎng)景的性能。評(píng)估方法從特定任務(wù)評(píng)估方法和指標(biāo)轉(zhuǎn)移到基于其獨(dú)特屬性的現(xiàn)有文獻(xiàn)的綜合，涵蓋了RAG評(píng)估的目標(biāo)、對(duì)這些模型進(jìn)行評(píng)估的方面、以及可用于此類評(píng)估的基準(zhǔn)和工具。目的是提供一個(gè)關(guān)于RAG模型評(píng)估的全面概述。

7.1 評(píng)估目標(biāo)

對(duì)RAG模型的評(píng)價(jià)集中于其檢索和生成模塊，以全面評(píng)估上下文質(zhì)量和內(nèi)容質(zhì)量。

檢索質(zhì)量評(píng)估

評(píng)估檢索質(zhì)量對(duì)于確定檢索組件提供的上下文的有效性至關(guān)重要。可以使用搜索引擎、推薦系統(tǒng)和信息檢索系統(tǒng)的標(biāo)準(zhǔn)指標(biāo)來(lái)衡量RAG檢索模塊的性能。通常使用命中率、MRR和NDCG等指標(biāo)來(lái)評(píng)估檢索模塊的性能。

生成質(zhì)量評(píng)估

生成質(zhì)量的評(píng)估包括真實(shí)性、相關(guān)性、非危害性和準(zhǔn)確性，可以通過(guò)手動(dòng)或自動(dòng)評(píng)估方法進(jìn)行。對(duì)于未標(biāo)記的內(nèi)容，評(píng)估還包括上下文相關(guān)的答案。對(duì)于標(biāo)記的內(nèi)容，重點(diǎn)是模型產(chǎn)生的信息的準(zhǔn)確性。評(píng)估方法可以用于檢索和生成的質(zhì)量評(píng)估。

7.2 評(píng)估方面

當(dāng)前評(píng)價(jià)RAG模型主要關(guān)注三個(gè)關(guān)鍵質(zhì)量分?jǐn)?shù)和四個(gè)基本能力，這些因素共同影響著模型的檢索和生成兩大目標(biāo)。

質(zhì)量分?jǐn)?shù)

質(zhì)量分?jǐn)?shù)包括上下文相關(guān)性、答案準(zhǔn)確性和答案相關(guān)性。這些質(zhì)量分?jǐn)?shù)從信息檢索和生成過(guò)程中的不同角度評(píng)估RAG模型的效率，確保檢索到的上下文精確且具有特異性，生成的答案與所提出的問(wèn)題保持一致并避免矛盾，同時(shí)與核心問(wèn)題直接相關(guān)。

所需能力

RAG評(píng)估包括噪聲魯棒性、負(fù)拒絕、信息整合和反事實(shí)魯棒性四種能力，這些能力對(duì)于模型在各種挑戰(zhàn)和復(fù)雜場(chǎng)景下的性能至關(guān)重要。此外，上下文相關(guān)性和噪聲魯棒性對(duì)于評(píng)估檢索質(zhì)量很重要，而答案真實(shí)性、答案相關(guān)性、負(fù)拒絕、信息整合和反事實(shí)魯棒性對(duì)于評(píng)估生成質(zhì)量也很重要。表2總結(jié)了每個(gè)評(píng)估方面的具體指標(biāo)。

表2 適用于評(píng)價(jià)方面RAG的指標(biāo)摘要表

7.3 評(píng)估基準(zhǔn)和工具

RAG模型評(píng)估框架包括基準(zhǔn)測(cè)試和自動(dòng)化評(píng)估工具，這些工具提供了定量指標(biāo)，可以衡量模型表現(xiàn)并增強(qiáng)對(duì)模型在各種評(píng)估方面的能力理解?；鶞?zhǔn)測(cè)試側(cè)重于評(píng)估模型的基本能力，而最先進(jìn)的自動(dòng)化工具使用LLM來(lái)裁決質(zhì)量分?jǐn)?shù)。這些工具和基準(zhǔn)共同構(gòu)成了系統(tǒng)評(píng)估RAG模型的強(qiáng)大框架，如表3.

表3 評(píng)價(jià)框架摘要

8 未來(lái)展望

這部分探討了RAG的三個(gè)未來(lái)展望：未來(lái)的挑戰(zhàn)、模式擴(kuò)展和RAG生態(tài)系統(tǒng)。

8.1 RAG的未來(lái)挑戰(zhàn)

RAG技術(shù)雖然取得了顯著進(jìn)展，但仍面臨一些挑戰(zhàn)：

• 上下文長(zhǎng)度：RAG效果受限于大型語(yǔ)言模型（LLM）的上下文窗口大小，需要在信息不足和風(fēng)險(xiǎn)較高的信息稀釋之間找到平衡。
• 魯棒性：檢索過(guò)程中的噪聲或矛盾信息可能影響RAG輸出質(zhì)量，提高RAG對(duì)抗性或反事實(shí)輸入的抵抗力是研究熱點(diǎn)。
• 混合方法（RAG+FT）：將RAG與微調(diào)相結(jié)合成為主導(dǎo)策略，確定最佳集成方式和利用參數(shù)化和非參數(shù)化優(yōu)勢(shì)值得探索。
• 擴(kuò)大LLM角色：確定在RAG系統(tǒng)中進(jìn)一步釋放LLMs潛力的方式是研究熱點(diǎn)。
• 規(guī)模定律：RAG模型中的參數(shù)數(shù)量落后于LLMs，反規(guī)模定律的可能性值得研究。
• 生產(chǎn)就緒的RAG：提高檢索效率、在大型知識(shí)庫(kù)中提高文檔召回率以及確保數(shù)據(jù)安全性等關(guān)鍵工程挑戰(zhàn)仍需解決。

RAG的模態(tài)擴(kuò)展

RAG已經(jīng)超越了基于文本的問(wèn)答，接納了圖像、音頻和視頻等多種模態(tài)數(shù)據(jù)，催生了創(chuàng)新的多模態(tài)模型。在圖像領(lǐng)域，RA-CM3和BLIP-2等模型實(shí)現(xiàn)了文本和圖像的檢索和生成，以及零樣本圖像到文本轉(zhuǎn)換。在音頻和視頻領(lǐng)域，GSS方法將機(jī)器翻譯數(shù)據(jù)轉(zhuǎn)換為語(yǔ)音翻譯數(shù)據(jù)，UEOP在端到端自動(dòng)語(yǔ)音識(shí)別方面取得進(jìn)展，基于KNN的注意力融合改進(jìn)了ASR，Vid2Seq使用專門的計(jì)時(shí)器來(lái)增強(qiáng)語(yǔ)言模型，促進(jìn)事件邊界和文本描述的預(yù)測(cè)以及統(tǒng)一輸出序列。在代碼領(lǐng)域，RBPS通過(guò)編碼和頻率分析檢索與開(kāi)發(fā)人員目標(biāo)一致的代碼示例，在小規(guī)模學(xué)習(xí)任務(wù)中表現(xiàn)出色。對(duì)于結(jié)構(gòu)化知識(shí)，CoK方法首先從知識(shí)圖中提取與輸入查詢相關(guān)的信息，然后將這些事實(shí)作為提示集成到輸入中，提高知識(shí)圖問(wèn)答任務(wù)的性能。

8.2 RAG生態(tài)系統(tǒng)

RAG是一種強(qiáng)大的語(yǔ)言模型，能夠處理復(fù)雜的查詢并產(chǎn)生詳細(xì)的響應(yīng)。它在開(kāi)放式問(wèn)答和事實(shí)核查等下游任務(wù)中表現(xiàn)出色，提高了響應(yīng)的精確性、相關(guān)性、多樣性和深度。RAG在醫(yī)學(xué)、法律和教育等領(lǐng)域的可擴(kuò)展性和通用性值得進(jìn)一步研究，可能降低培訓(xùn)成本，提高專業(yè)領(lǐng)域知識(shí)問(wèn)題回答的性能。完善RAG的評(píng)估框架至關(guān)重要，需要開(kāi)發(fā)微妙的指標(biāo)和評(píng)估工具，以衡量上下文相關(guān)性、內(nèi)容創(chuàng)造性以及非惡意性等因素。提高RAG驅(qū)動(dòng)模型的解釋性也是一個(gè)關(guān)鍵目標(biāo)，這將有助于建立用戶對(duì)RAG應(yīng)用程序的信任和透明度。

技術(shù)堆棧

RAG生態(tài)系統(tǒng)的發(fā)展受到技術(shù)堆棧發(fā)展的影響，如LangChain和LLamaIndex等關(guān)鍵工具的流行，提供了廣泛的RAG相關(guān)API。新興的技術(shù)堆棧如FlowiseAI10、HayStack、Meltano11和CohereCoral12也因其獨(dú)特貢獻(xiàn)受到關(guān)注。傳統(tǒng)的軟件和云服務(wù)提供商也在擴(kuò)大服務(wù)范圍，包括以RAG為中心的服務(wù)。RAG模型和技術(shù)堆棧的共同增長(zhǎng)是顯而易見(jiàn)的，技術(shù)進(jìn)步不斷為現(xiàn)有基礎(chǔ)設(shè)施制定新標(biāo)準(zhǔn)。RAG工具包正在匯集成為一個(gè)基礎(chǔ)技術(shù)堆棧，為高級(jí)企業(yè)應(yīng)用程序奠定基礎(chǔ)。然而，完全集成和全面的平臺(tái)的概念仍然存在，有待進(jìn)一步的創(chuàng)新和發(fā)展。

圖 7 RAG 的生態(tài)系統(tǒng)概覽

?

如何學(xué)習(xí)AI大模型？

作為一名熱心腸的互聯(lián)網(wǎng)老兵，我決定把寶貴的AI知識(shí)分享給大家。 至于能學(xué)習(xí)到多少就看你的學(xué)習(xí)毅力和能力了 。我已將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書(shū)籍手冊(cè)、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來(lái)。

這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN，朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】

一、全套AGI大模型學(xué)習(xí)路線

AI大模型時(shí)代的學(xué)習(xí)之旅：從基礎(chǔ)到前沿，掌握人工智能的核心技能！

二、640套AI大模型報(bào)告合集

這套包含640份報(bào)告的合集，涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無(wú)論您是科研人員、工程師，還是對(duì)AI大模型感興趣的愛(ài)好者，這套報(bào)告合集都將為您提供寶貴的信息和啟示。

三、AI大模型經(jīng)典PDF籍

隨著人工智能技術(shù)的飛速發(fā)展，AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型，如GPT-3、BERT、XLNet等，以其強(qiáng)大的語(yǔ)言理解和生成能力，正在改變我們對(duì)人工智能的認(rèn)識(shí)。 那以下這些PDF籍就是非常不錯(cuò)的學(xué)習(xí)資源。

四、AI大模型商業(yè)化落地方案

作為普通人，入局大模型時(shí)代需要持續(xù)學(xué)習(xí)和實(shí)踐，不斷提高自己的技能和認(rèn)知水平，同時(shí)也需要有責(zé)任感和倫理意識(shí)，為人工智能的健康發(fā)展貢獻(xiàn)力量。