做網(wǎng)站 服務(wù)器多少錢一年網(wǎng)絡(luò)營(yíng)銷課程設(shè)計(jì)
1 、介紹
大型語(yǔ)言模型(LLMs)在處理特定領(lǐng)域或高度專業(yè)化的查詢時(shí)存在局限性,如生成不正確信息或“幻覺(jué)”。緩解這些限制的一種有前途的方法是檢索增強(qiáng)生成(RAG),RAG就像是一個(gè)外掛,將外部數(shù)據(jù)檢索集成到生成過(guò)程中,增強(qiáng)模型提供準(zhǔn)確和相關(guān)響應(yīng)的能力。
圖1 RAG技術(shù)發(fā)展科技樹(shù)
本文主要內(nèi)容如下:
- 回顧了當(dāng)前最先進(jìn)的RAG技術(shù),包括樸素RAG、進(jìn)階RAG和模塊RAG等范式,并闡述了它們的發(fā)展歷程。在LLM背景下,本文將RAG研究的更廣泛領(lǐng)域進(jìn)行了全面而系統(tǒng)的探討。
- 重點(diǎn)討論了RAG過(guò)程中的核心技術(shù),特別是“檢索”、“生成”和“增強(qiáng)”這三個(gè)方面。文章深入分析了這三個(gè)組件如何協(xié)同工作,并闡明了它們?nèi)绾蜗嗷f(xié)作,形成一個(gè)有凝聚力和有效的RAG框架。
- 為RAG構(gòu)建了一個(gè)全面的評(píng)估框架,包括評(píng)估目標(biāo)和度量標(biāo)準(zhǔn),并從多個(gè)角度分析了其優(yōu)缺點(diǎn),同時(shí)預(yù)測(cè)了其未來(lái)發(fā)展方向和潛在增強(qiáng)。此外,還強(qiáng)調(diào)了解決當(dāng)前挑戰(zhàn)的擴(kuò)展和生態(tài)系統(tǒng)的發(fā)展。
2 定義
RAG是一種通過(guò)整合外部知識(shí)庫(kù)來(lái)增強(qiáng)LLMs的模式,采用協(xié)同方法,結(jié)合信息檢索機(jī)制和上下文學(xué)習(xí)(ICL)來(lái)提高LLM的性能。RAG工作流程包括三個(gè)關(guān)鍵步驟:首先,語(yǔ)料庫(kù)被劃分為離散塊,然后使用編碼器模型構(gòu)建向量索引。其次,RAG根據(jù)其與查詢和索引塊的向量相似性來(lái)識(shí)別和檢索塊。最后,模型合成一個(gè)響應(yīng),條件于檢索到的塊中獲取的上下文信息。這些步驟構(gòu)成了RAG過(guò)程的根本框架,支持其信息檢索和上下文感知生成能力。RAG的關(guān)鍵優(yōu)勢(shì)在于它不需要為特定任務(wù)重新訓(xùn)練LLM,開(kāi)發(fā)人員可以添加外部知識(shí)庫(kù),豐富輸入并從而改進(jìn)模型輸出精度。
圖 2 RAG 技術(shù)在 QA 問(wèn)題中的案例
3 RAG框架
RAG研究范式經(jīng)歷了不斷演變的過(guò)程,主要分為樸素RAG、進(jìn)階RAG和模塊RAG三種類型。雖然RAG具有成本效益并超過(guò)了原生LLM的性能,但也表現(xiàn)出一些局限性。為了應(yīng)對(duì)樸素RAG中的特定缺點(diǎn),開(kāi)發(fā)了進(jìn)階RAG和模塊RAG。
3.1 樸素RAG
樸素RAG遵循一個(gè)傳統(tǒng)流程,包括索引、檢索和生成。
索引。數(shù)據(jù)準(zhǔn)備過(guò)程中的索引是關(guān)鍵初始步驟,涉及多個(gè)階段,從數(shù)據(jù)清理和提取到文件格式轉(zhuǎn)換和切分,再到嵌入模型轉(zhuǎn)化為向量表示和創(chuàng)建索引。索引為檢索階段的相似性比較提供了便利,并存儲(chǔ)了文本部分和它們的向量嵌入作為鍵值對(duì),為高效和可擴(kuò)展的搜索能力提供了可能。
檢索。系統(tǒng)對(duì)用戶查詢進(jìn)行轉(zhuǎn)碼,生成向量的表示形式,并計(jì)算查詢向量與索引語(yǔ)料庫(kù)中塊之間的相似度分?jǐn)?shù)。系統(tǒng)優(yōu)先檢索出與查詢最相似的塊,并用作擴(kuò)展上下文的基礎(chǔ),以響應(yīng)用戶的請(qǐng)求。
生成。大型語(yǔ)言模型被用于根據(jù)提示合成文檔來(lái)制定響應(yīng),允許它利用參數(shù)知識(shí)或限制在提供文檔中的信息。對(duì)話歷史也可集成到提示中以進(jìn)行多輪對(duì)話交互。模型回答問(wèn)題的方法可能因特定任務(wù)標(biāo)準(zhǔn)而異。
Naive RAG 的缺點(diǎn)。Naive RAG在檢索、生成和增強(qiáng)三個(gè)關(guān)鍵領(lǐng)域面臨挑戰(zhàn)。檢索質(zhì)量低,導(dǎo)致不匹配的塊、幻覺(jué)、空中掉落等問(wèn)題,阻礙了構(gòu)建全面響應(yīng)的能力。生成質(zhì)量引發(fā)幻覺(jué)挑戰(zhàn),即模型生成的答案沒(méi)有基于提供的上下文,存在無(wú)關(guān)上下文和潛在毒性或偏見(jiàn)的問(wèn)題。增強(qiáng)過(guò)程難以有效地結(jié)合檢索段落中的上下文與當(dāng)前生成任務(wù),導(dǎo)致輸出不連貫或不一致。重復(fù)和冗余也是問(wèn)題,需要確定檢索段落的重要性和相關(guān)性,并協(xié)調(diào)不同的寫作風(fēng)格和語(yǔ)氣。生成模型過(guò)度依賴增強(qiáng)信息存在風(fēng)險(xiǎn),可能導(dǎo)致輸出僅重申檢索到的內(nèi)容,沒(méi)有提供新的價(jià)值或綜合信息。
3.2 進(jìn)階RAG
進(jìn)階RAG通過(guò)增強(qiáng)有針對(duì)性的檢索策略和改進(jìn)索引方法來(lái)彌補(bǔ)Naive RAG的缺點(diǎn)。它實(shí)施了預(yù)檢索和后檢索策略,并采用了滑動(dòng)窗口、細(xì)粒度分割和元數(shù)據(jù)等技術(shù)來(lái)改進(jìn)索引方法。此外,還引入了各種方法來(lái)優(yōu)化檢索過(guò)程,如ILIN。
預(yù)檢索過(guò)程。優(yōu)化數(shù)據(jù)索引可以提高索引內(nèi)容的質(zhì)量,從而提高RAG系統(tǒng)的性能。這涉及五個(gè)主要策略:增強(qiáng)數(shù)據(jù)粒度、優(yōu)化索引結(jié)構(gòu)、添加元數(shù)據(jù)、對(duì)齊優(yōu)化和混合檢索。增強(qiáng)數(shù)據(jù)粒度旨在提高文本標(biāo)準(zhǔn)化的程度和上下文豐富性,優(yōu)化索引結(jié)構(gòu)包括調(diào)整塊大小和利用圖數(shù)據(jù)索引整合信息,添加元數(shù)據(jù)信息用于過(guò)濾和整合元數(shù)據(jù)以提高檢索效率,對(duì)齊優(yōu)化處理文檔之間的對(duì)齊問(wèn)題和差異。
檢索階段。在檢索階段,通過(guò)計(jì)算查詢和塊之間的相似性來(lái)確定適當(dāng)?shù)纳舷挛?#xff0c;嵌入模型是核心。微調(diào)嵌入模型可以增強(qiáng)特定領(lǐng)域上下文中的檢索相關(guān)性,動(dòng)態(tài)嵌入會(huì)根據(jù)使用的上下文進(jìn)行適應(yīng)。像BERT這樣的轉(zhuǎn)換器模型可以捕獲上下文理解,但可能不如最新全尺寸語(yǔ)言模型對(duì)上下文敏感。
后檢索過(guò)程。從數(shù)據(jù)庫(kù)檢索到的有價(jià)值上下文與查詢合并后,應(yīng)對(duì)上下文窗口限制帶來(lái)的挑戰(zhàn),對(duì)檢索到的內(nèi)容進(jìn)行重新排名和提示壓縮是關(guān)鍵策略。重新排名方法包括根據(jù)文檔多樣性優(yōu)先級(jí)、在上下文窗口的開(kāi)頭和結(jié)尾交替放置最好的文檔、重新計(jì)算相關(guān)文本和查詢之間的語(yǔ)義相似性等。提示壓縮方法包括利用小型語(yǔ)言模型來(lái)計(jì)算提示的互信息或困惑度,以及設(shè)計(jì)摘要技術(shù)來(lái)增強(qiáng)LLM的關(guān)鍵信息感知等。
3.3 模塊RAG
圖3 RAG 范式對(duì)比圖
模塊RAG結(jié)構(gòu)是一種新型的RAG框架,具有更大的靈活性和適應(yīng)性,可以整合各種方法來(lái)增強(qiáng)功能模塊,并解決特定問(wèn)題。模塊RAG范式正逐漸成為常態(tài),允許在多個(gè)模塊之間進(jìn)行串行流水線或端到端訓(xùn)練方法。進(jìn)階RAG是模塊RAG的一種專門形式,而Naive RAG是進(jìn)階RAG的一個(gè)特殊情況。這三個(gè)范式之間的關(guān)系是繼承和發(fā)展關(guān)系。
新模塊搜索模塊針對(duì)特定場(chǎng)景定制,并納入了額外語(yǔ)料庫(kù)的直接搜索,通過(guò)LLM生成的代碼、查詢語(yǔ)言和其他定制工具實(shí)現(xiàn)集成,數(shù)據(jù)源包括搜索引擎、文本數(shù)據(jù)、表格數(shù)據(jù)和知識(shí)圖譜。
記憶模塊利用LLM的記憶能力引導(dǎo)檢索,識(shí)別與當(dāng)前輸入最相似的記憶,并通過(guò)檢索增強(qiáng)生成器迭代創(chuàng)建無(wú)界記憶池,使文本在推理過(guò)程中與數(shù)據(jù)分布更加一致。
融合方法通過(guò)采用多查詢方法增強(qiáng)傳統(tǒng)搜索系統(tǒng),使用LLM將用戶查詢擴(kuò)展到多個(gè)不同的視角,揭示更深層次的變革性知識(shí)。融合過(guò)程包括對(duì)原始和擴(kuò)展查詢的并行向量搜索,智能重新排名以優(yōu)化結(jié)果,并將最佳結(jié)果與新查詢配對(duì)。
RAG系統(tǒng)檢索過(guò)程利用多種來(lái)源,根據(jù)情況交替或合并使用,查詢路由決定用戶查詢的后續(xù)操作,包括摘要、搜索特定數(shù)據(jù)庫(kù)或?qū)⒉煌窂胶喜閱蝹€(gè)響應(yīng)。查詢路由器選擇適合查詢的數(shù)據(jù)存儲(chǔ),決策是預(yù)定義的,通過(guò)LLM調(diào)用執(zhí)行。
預(yù)測(cè)模塊利用LLM生成必要內(nèi)容,解決檢索內(nèi)容中的冗余和噪聲問(wèn)題,生成的內(nèi)容更有可能包含相關(guān)信息。
任務(wù)適配器使RAG適應(yīng)各種下游任務(wù),UPRISE自動(dòng)從預(yù)構(gòu)建數(shù)據(jù)池檢索提示,支持零樣本任務(wù)輸入,增強(qiáng)跨任務(wù)和模型通用性。PROMPTAGATOR將LLM用作少數(shù)樣本查詢生成器,創(chuàng)建特定于任務(wù)檢索器,利用少量示例開(kāi)發(fā)特定于任務(wù)的端到端檢索器。
新模式
模塊RAG具有高度的適應(yīng)性,允許在RAG過(guò)程中替換或重新排列模塊以適應(yīng)特定問(wèn)題情境。當(dāng)前研究主要探索兩種組織范式,一種是添加或替換模塊,另一種是調(diào)整模塊之間的組織流程。這些靈活性使得可以根據(jù)需要定制RAG過(guò)程,從而有效地處理各種任務(wù)。
優(yōu)化RAG管道
優(yōu)化RAG管道以提高信息效率和信息質(zhì)量,通過(guò)整合各種搜索技術(shù)、改進(jìn)檢索步驟、融入認(rèn)知回溯、實(shí)施多功能的查詢策略和利用嵌入相似性,實(shí)現(xiàn)檢索效率和上下文信息的深度之間的平衡?;旌纤阉魈剿鳌⑦f歸檢索和查詢引擎、后退提示方法、子查詢和假設(shè)文檔嵌入等方法被用于優(yōu)化RAG管道。這些方法有助于生成對(duì)后退提示的響應(yīng)和最終的答案生成過(guò)程。然而,這種方法可能不會(huì)始終產(chǎn)生令人滿意的結(jié)果,特別是當(dāng)語(yǔ)言模型對(duì)主題不熟悉時(shí),可能會(huì)導(dǎo)致更多的錯(cuò)誤實(shí)例。
4 檢索
在RAG中,高效檢索相關(guān)文檔的關(guān)鍵在于解決三個(gè)問(wèn)題:1)如何實(shí)現(xiàn)精確的語(yǔ)義表示;2)如何協(xié)調(diào)查詢和文檔的語(yǔ)義空間;3)如何使檢索器的輸出與大型語(yǔ)言模型的偏好相協(xié)調(diào)。
4.1 加強(qiáng)語(yǔ)義表示
RAG中的語(yǔ)義空間對(duì)于查詢和文檔的多維映射至關(guān)重要,其檢索精度對(duì)結(jié)果影響顯著。本節(jié)將介紹兩種建立準(zhǔn)確語(yǔ)義空間的方法。
塊優(yōu)化
管理外部文檔時(shí),確定適當(dāng)?shù)膲K大小對(duì)于確保檢索結(jié)果的準(zhǔn)確性和相關(guān)性至關(guān)重要。選擇適當(dāng)?shù)膲K化策略需要考慮索引內(nèi)容的性質(zhì)、嵌入模型、用戶查詢的預(yù)期長(zhǎng)度和復(fù)雜性以及應(yīng)用程序的使用情況。目前,RAG領(lǐng)域的研究探索了各種塊優(yōu)化技術(shù),以提高檢索效率和準(zhǔn)確性。摘要嵌入技術(shù)、元數(shù)據(jù)篩選技術(shù)和圖索引技術(shù)等多樣化方法的結(jié)合已經(jīng)取得了顯著的進(jìn)步,從而提高了檢索結(jié)果和RAG的性能。
微調(diào)嵌入模型
一旦確定了塊大小,下一步就是使用嵌入模型將塊和查詢嵌入到語(yǔ)義空間中。嵌入模型的有效性至關(guān)重要,因?yàn)樗鼤?huì)影響模型表示語(yǔ)料庫(kù)的能力。最近的研究引入了諸如AngIE、Voyage、BGE等著名的嵌入模型。這些模型在廣泛的語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練,但在專門領(lǐng)域時(shí),它們準(zhǔn)確捕捉特定領(lǐng)域信息的能力可能有限。針對(duì)特定任務(wù)的嵌入微調(diào)對(duì)于確保模型能夠以內(nèi)容相關(guān)性的方式理解用戶查詢至關(guān)重要。嵌入微調(diào)方法主要有兩種主要范式:領(lǐng)域知識(shí)微調(diào)和下游任務(wù)的微調(diào)。領(lǐng)域知識(shí)微調(diào)需要使用領(lǐng)域特定的數(shù)據(jù)集,而模型微調(diào)的數(shù)據(jù)集包括查詢、語(yǔ)料庫(kù)和相關(guān)文檔。下游任務(wù)的微調(diào)是提高模型性能的關(guān)鍵步驟,例如PROMPTAGATOR和LLM-Embedder等方法利用LLM的能力對(duì)嵌入模型進(jìn)行微調(diào)。
4.2 對(duì)齊查詢和文檔
RAG應(yīng)用中,檢索器可以使用嵌入模型編碼查詢和文檔,或?yàn)槊總€(gè)使用不同模型。原始查詢可能因不精確措辭和缺乏語(yǔ)義信息而受影響,因此,將用戶查詢的語(yǔ)義空間與文檔的語(yǔ)義空間對(duì)齊至關(guān)重要。本節(jié)介紹兩種基本技術(shù)實(shí)現(xiàn)這種對(duì)齊。
查詢重寫
查詢重寫是一種用于對(duì)齊查詢和文檔語(yǔ)義的方法,通過(guò)將原始查詢與額外指導(dǎo)結(jié)合來(lái)創(chuàng)建偽文檔,或使用文本線索構(gòu)建查詢向量以生成“假設(shè)”文檔,或改變傳統(tǒng)的檢索和閱讀順序,專注于查詢重寫,或利用LLM進(jìn)行高級(jí)概念抽象推理和檢索。多查詢檢索方法也利用LLM同時(shí)生成并執(zhí)行多個(gè)搜索查詢,以處理具有多個(gè)子問(wèn)題的復(fù)雜問(wèn)題。
嵌入變換
LlamaIndex通過(guò)引入適配器模塊,優(yōu)化查詢嵌入的表示,將其映射到與預(yù)期任務(wù)更緊密對(duì)齊的潛在空間中。SANTA通過(guò)兩種預(yù)訓(xùn)練策略增強(qiáng)檢索器對(duì)結(jié)構(gòu)化信息的敏感性:首先,利用結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)之間的內(nèi)在對(duì)齊來(lái)指導(dǎo)結(jié)構(gòu)化意識(shí)下的預(yù)訓(xùn)練方案中的對(duì)比學(xué)習(xí);其次,實(shí)施掩碼實(shí)體預(yù)測(cè),鼓勵(lì)語(yǔ)言模型預(yù)測(cè)并填充被掩碼的實(shí)體,從而促進(jìn)對(duì)結(jié)構(gòu)化數(shù)據(jù)的深入理解。SANTA特別處理了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)之間的差異,通過(guò)將查詢與結(jié)構(gòu)化外部文檔對(duì)齊,提高檢索器識(shí)別結(jié)構(gòu)化信息的能力。
4.3 對(duì)齊檢索器和LLM
在RAG管道中,提高檢索命中率不一定能改善最終結(jié)果,因?yàn)闄z索到的文檔可能不滿足LLMs的需求。本部分將介紹兩種將檢索器輸出與LLMs偏好對(duì)齊的方法。
微調(diào)檢索器
幾種研究利用來(lái)自語(yǔ)言模型(LLMs)的反饋信號(hào)來(lái)完善檢索模型。其中,Yu等人使用編碼器-解碼器架構(gòu)為檢索器提供監(jiān)督信號(hào),通過(guò)FiD跨注意力分?jǐn)?shù)識(shí)別LM的偏好文檔,并使用難負(fù)采樣和標(biāo)準(zhǔn)交叉熵?fù)p失對(duì)檢索器進(jìn)行微調(diào)。此外,還建議LLMs可能更傾向于關(guān)注可讀性文檔而不是信息豐富的文檔。Shi等人利用檢索器和LLM來(lái)計(jì)算檢索到的文檔的概率分布,通過(guò)KL散度進(jìn)行監(jiān)督訓(xùn)練。UPRISE使用凍結(jié)的LLM來(lái)微調(diào)檢索器,通過(guò)LLM提供的分?jǐn)?shù)來(lái)監(jiān)督檢索器的訓(xùn)練。此外,還提出了四種監(jiān)督微調(diào)嵌入模型的方法,以提高檢索器和LLM之間的協(xié)同作用,從而提高檢索性能和更準(zhǔn)確地響應(yīng)用戶查詢。
適配器
微調(diào)模型時(shí)可能會(huì)遇到挑戰(zhàn),如通過(guò)API集成功能或解決本地計(jì)算資源有限的問(wèn)題。一些方法選擇采用外部適配器來(lái)幫助對(duì)齊。PRCA通過(guò)上下文提取階段和獎(jiǎng)勵(lì)驅(qū)動(dòng)階段來(lái)訓(xùn)練適配器,并使用基于令牌的自回歸策略優(yōu)化檢索器的輸出。此外,PKG介紹了一種創(chuàng)新方法,通過(guò)指令微調(diào)將知識(shí)集成到白盒模型中,這種方法有助于解決微調(diào)過(guò)程中遇到的困難,并提高模型性能。此外,RECOMP引入了提取和生成壓縮器,用于摘要生成。
5 生成
RAG的關(guān)鍵組成部分之一是生成器,它負(fù)責(zé)將檢索到的信息轉(zhuǎn)換為連貫、流暢的文本。生成器通過(guò)整合檢索到的數(shù)據(jù)來(lái)提高準(zhǔn)確性和相關(guān)性,并受到檢索到的文本的指導(dǎo)以確保生成的文本與檢索到的信息之間的一致性。這種全面的輸入使生成器能夠深入了解問(wèn)題的上下文,提供更有信息和上下文相關(guān)的響應(yīng)。生成器的引入有助于改進(jìn)大型模型對(duì)輸入數(shù)據(jù)的適應(yīng)能力。
5.1 使用冷凍LLM進(jìn)行后檢索
在不可調(diào)用的LLM領(lǐng)域,研究依賴GPT-4等大型模型合成信息,但存在上下文長(zhǎng)度限制和易受冗余信息影響的問(wèn)題。為解決這些問(wèn)題,研究轉(zhuǎn)向后檢索處理,涉及處理、過(guò)濾或優(yōu)化從大型文檔數(shù)據(jù)庫(kù)中檢索的相關(guān)信息,以提高檢索結(jié)果質(zhì)量,使其更符合用戶需求或后續(xù)任務(wù)。后檢索處理中的常見(jiàn)操作包括信息壓縮和結(jié)果重新排名。
信息壓縮
大型語(yǔ)言模型的上下文長(zhǎng)度限制是一個(gè)挑戰(zhàn),信息壓縮對(duì)于減少噪音、解決上下文長(zhǎng)度限制和增強(qiáng)生成效應(yīng)具有重要意義。PRCA和RECOMP是兩個(gè)研究項(xiàng)目,它們分別通過(guò)訓(xùn)練信息提取器和使用對(duì)比學(xué)習(xí)訓(xùn)練信息壓縮器來(lái)解決這個(gè)問(wèn)題。另一個(gè)研究項(xiàng)目提出了“Filter-Reranker”范式,結(jié)合了LLMs和小語(yǔ)言模型(SLMs)的優(yōu)勢(shì),以減少文檔數(shù)量以提高模型回答的準(zhǔn)確性。
重新排序
重新排序模型在優(yōu)化檢索器檢索的文檔集合方面起著重要作用,通過(guò)重新排列文檔記錄,優(yōu)先考慮最相關(guān)的項(xiàng)目,從而限制文檔總數(shù),提高檢索效率和響應(yīng)速度。這種方法還納入了上下文壓縮,以提供更精確的檢索信息。重新排序模型在整個(gè)信息檢索過(guò)程中扮演雙重角色,既是優(yōu)化者又是細(xì)化者。
5.2 針對(duì)RAG的微調(diào)LLM
優(yōu)化RAG模型中的生成器是關(guān)鍵方面,生成器的角色是接收檢索到的信息并生成相關(guān)文本。為了適應(yīng)輸入查詢和檢索到的文檔,對(duì)模型進(jìn)行微調(diào)變得至關(guān)重要。在RAG中,生成器的微調(diào)方法與LLM的一般微調(diào)方法一致。為了提高生成器的性能,需要后處理檢索到的文檔,并使用代表性工作進(jìn)行數(shù)據(jù)和優(yōu)化函數(shù)的探索。
總體優(yōu)化過(guò)程
總體優(yōu)化過(guò)程的一部分是訓(xùn)練數(shù)據(jù)通常包括輸入-輸出對(duì),旨在訓(xùn)練模型根據(jù)輸入x生成輸出y。自我記憶的工作中,采用了一種傳統(tǒng)的訓(xùn)練過(guò)程,其中給定輸入x,檢索相關(guān)文檔z,在整合(x,z)后,模型生成輸出y。訓(xùn)練數(shù)據(jù)通常包括輸入-輸出對(duì),旨在訓(xùn)練模型根據(jù)輸入生成輸出。在聯(lián)合編碼器和雙編碼器范式中,使用基于編碼器-解碼器的標(biāo)準(zhǔn)模型或兩個(gè)獨(dú)立的編碼器對(duì)輸入和文檔進(jìn)行編碼,然后使用解碼器進(jìn)行雙向跨注意力處理。這兩種架構(gòu)都使用Transformer作為基礎(chǔ)塊并進(jìn)行優(yōu)化。
利用對(duì)比學(xué)習(xí)
在訓(xùn)練語(yǔ)言模型時(shí),傳統(tǒng)的方法可能導(dǎo)致“曝光偏差”,即模型只根據(jù)單個(gè)、正確的輸出示例進(jìn)行訓(xùn)練,限制了其對(duì)各種可能輸出的范圍。為了解決這個(gè)問(wèn)題,SURGE提出了使用圖-文本對(duì)比學(xué)習(xí)的方法,可以促使模型產(chǎn)生一系列可能且連貫的響應(yīng),減少過(guò)擬合,加強(qiáng)模型泛化能力。對(duì)于涉及結(jié)構(gòu)化數(shù)據(jù)的檢索任務(wù),SANTA框架實(shí)施了三部分訓(xùn)練方案,包括檢索器、生成器初步訓(xùn)練階段和生成器訓(xùn)練的另一個(gè)階段,有效地封裝了結(jié)構(gòu)和語(yǔ)義的微妙差異,培養(yǎng)了模型對(duì)文本數(shù)據(jù)結(jié)構(gòu)語(yǔ)義的理解,并促進(jìn)了結(jié)構(gòu)化數(shù)據(jù)中相關(guān)實(shí)體的對(duì)齊。
6 RAG的增強(qiáng)
RAG發(fā)展的三大關(guān)鍵技術(shù):增強(qiáng)階段、數(shù)據(jù)來(lái)源和過(guò)程。圖4展示了RAG核心組件的分類。
圖4 RAG的核心組件的分類體系
6.1 RAG的增強(qiáng)階段
RAG是一個(gè)知識(shí)密集型工作,在語(yǔ)言模型訓(xùn)練的預(yù)訓(xùn)練、微調(diào)和推理階段,融入了各種技術(shù)方法。
預(yù)訓(xùn)練階段
在預(yù)訓(xùn)練階段,研究人員通過(guò)基于檢索的策略來(lái)加強(qiáng)開(kāi)放域QA的PTMs。REALM模型采用結(jié)構(gòu)化的可解釋方法進(jìn)行知識(shí)嵌入,并利用檢索增強(qiáng)進(jìn)行大規(guī)模預(yù)訓(xùn)練。RETRO從頭開(kāi)始利用檢索增強(qiáng)進(jìn)行預(yù)訓(xùn)練,并減少模型參數(shù)以實(shí)現(xiàn)困惑度上的超越標(biāo)準(zhǔn)GPT模型。COG引入了一種新穎的文本生成方法,模擬從現(xiàn)有集合復(fù)制文本片段。增強(qiáng)預(yù)訓(xùn)練方法具有強(qiáng)大的性能和參數(shù)利用率,但面臨著挑戰(zhàn),如需要大量的預(yù)訓(xùn)練數(shù)據(jù)集和資源,以及隨著模型規(guī)模增加而減少的更新頻率。實(shí)證證據(jù)突顯了這種方法在知識(shí)密集型應(yīng)用中的顯著改善。
微調(diào)階段
RAG與微調(diào)是強(qiáng)化LLM的重要工具,兩者結(jié)合能更好地滿足特定場(chǎng)景需求。微調(diào)檢索器能優(yōu)化語(yǔ)義表示,協(xié)調(diào)檢索與生成模型,提升通用性和適應(yīng)性。微調(diào)生成器則能定制化和風(fēng)格化輸出,適應(yīng)不同輸入格式,構(gòu)建特定指令數(shù)據(jù)集。協(xié)同微調(diào)能增強(qiáng)模型通用性,避免過(guò)擬合,但資源消耗較大。雖然微調(diào)需要專用數(shù)據(jù)集和大量計(jì)算資源,但能減少預(yù)訓(xùn)練資源消耗,定制模型以滿足特定需求??傊?#xff0c;微調(diào)對(duì)RAG模型適應(yīng)特定任務(wù)至關(guān)重要,能完善檢索與生成器,增強(qiáng)模型多樣性和適應(yīng)性。
推理階段
RAG模型的推理階段十分重要,與LLM的集成廣泛。傳統(tǒng)RAG在推理階段引入檢索內(nèi)容來(lái)指導(dǎo)生成。為改進(jìn),先進(jìn)技術(shù)在推理中引入了更豐富語(yǔ)境的信息。DSP框架在frontier LMs和檢索模型間進(jìn)行自然語(yǔ)言文本交換,豐富了上下文,改善了生成結(jié)果。PKG方法為L(zhǎng)LMs配備了知識(shí)引導(dǎo)模塊,可檢索信息以執(zhí)行復(fù)雜任務(wù),無(wú)需修改LLMs參數(shù)。CREAICL采用跨語(yǔ)言知識(shí)的同步檢索來(lái)增強(qiáng)上下文,RECITE通過(guò)從LLMs中直接采樣段落來(lái)生成上下文。ITRG通過(guò)迭代檢索識(shí)別正確的推理路徑,提高任務(wù)適應(yīng)性。ITERRETGEN采用迭代策略,將檢索和生成合并為一個(gè)循環(huán)過(guò)程,交替進(jìn)行“檢索增強(qiáng)生成”和“生成增強(qiáng)檢索”。這些增強(qiáng)提供了輕量級(jí)、經(jīng)濟(jì)高效的替代方案,能利用預(yù)訓(xùn)練模型的能力而無(wú)需進(jìn)一步訓(xùn)練。
6.2 增強(qiáng)源
RAG模型需要增強(qiáng)數(shù)據(jù)源的選擇,不同層次的知識(shí)和維度需要不同的處理技術(shù)。最初,增強(qiáng)主要通過(guò)純文本等非結(jié)構(gòu)化數(shù)據(jù)實(shí)現(xiàn),后來(lái)擴(kuò)大到包括使用結(jié)構(gòu)化數(shù)據(jù)進(jìn)行進(jìn)一步改進(jìn),最近還越來(lái)越多地采用利用LLM自身生成的內(nèi)容進(jìn)行檢索和增強(qiáng)的趨勢(shì)。這些增強(qiáng)方法對(duì)RAG模型的有效性產(chǎn)生重大影響。
結(jié)合無(wú)結(jié)構(gòu)數(shù)據(jù)
從語(yǔ)料庫(kù)中收集的無(wú)結(jié)構(gòu)文本用于微調(diào)大型模型,提供了細(xì)粒度的精度,但增加了檢索的復(fù)雜性。一種主動(dòng)檢索方法由模型生成低概率單詞觸發(fā),創(chuàng)建臨時(shí)句子,用檢索到的上下文重新生成句子以預(yù)測(cè)后續(xù)句子。另一種方法使用前一塊的上下文指導(dǎo)下一塊的生成,保持因果關(guān)系,只利用前一個(gè)塊的最近鄰居。這些方法有助于提高文檔檢索的精度。
結(jié)合結(jié)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化數(shù)據(jù),如知識(shí)圖譜(KGs),為模型提供了高質(zhì)量的上下文信息,有助于緩解模型幻覺(jué)。RET-LLMs從過(guò)去的對(duì)話中構(gòu)建知識(shí)圖譜記憶,SUGRE使用GNN編碼相關(guān)的KG子圖并確保檢索到的信息和生成的文本之間的一致性,KnowledGPT生成KB搜索查詢并將知識(shí)存儲(chǔ)在個(gè)性化基礎(chǔ)上。
在RAG中利用LLMs生成的文本
為了解決RAG中外部輔助信息存在的局限性,一些研究專注于利用LLM的內(nèi)部知識(shí)。其中,一些方法將問(wèn)題分為已知或未知,選擇性地應(yīng)用檢索增強(qiáng)。其他方法則將LLM生成器用于取代檢索器,通過(guò)迭代創(chuàng)建與檢索增強(qiáng)生成器無(wú)界的內(nèi)存池,使用內(nèi)存選擇器來(lái)選擇作為原始問(wèn)題的雙重問(wèn)題的輸出,從而自我增強(qiáng)生成模型。
這些方法強(qiáng)調(diào)了RAG中創(chuàng)新數(shù)據(jù)源利用的廣泛性,旨在提高模型性能和任務(wù)有效性。
6.3 增強(qiáng)過(guò)程
在RAG領(lǐng)域,單一檢索步驟和生成可能導(dǎo)致效率低下,并出現(xiàn)“迷失在中間”現(xiàn)象。為了解決這些問(wèn)題,當(dāng)代研究提出了改進(jìn)檢索過(guò)程的方法,包括迭代檢索、遞歸檢索和自適應(yīng)檢索。迭代檢索增強(qiáng)所獲得信息的深度和相關(guān)性,遞歸檢索用于處理復(fù)雜或多步查詢,特別是需要逐步接近最終答案的場(chǎng)景,而自適應(yīng)檢索提供動(dòng)態(tài)調(diào)整機(jī)制以適應(yīng)不同任務(wù)和情境。
圖5 具有不同增強(qiáng)方面的代表性 RAG 研究的技術(shù)樹(shù)圖譜
迭代檢索
RAG模型中的迭代檢索通過(guò)多次檢索迭代提供額外的上下文參考,增強(qiáng)了后續(xù)答案生成的魯棒性。為了解決特定數(shù)據(jù)場(chǎng)景,使用遞歸檢索和多跳檢索技術(shù)。一些方法論將檢索和生成的步驟結(jié)合起來(lái),利用協(xié)同方法,利用所需的內(nèi)容作為檢索相關(guān)知識(shí)的上下文基礎(chǔ)來(lái)解決問(wèn)題,從而促進(jìn)在隨后的迭代中生成改進(jìn)的響應(yīng)。
遞歸檢索
遞歸檢索是一種優(yōu)化搜索結(jié)果的反饋循環(huán)過(guò)程,通過(guò)反復(fù)改進(jìn)搜索查詢來(lái)提高搜索結(jié)果的深度和相關(guān)性。該過(guò)程使用思維鏈或澄清樹(shù)等工具來(lái)指導(dǎo)檢索過(guò)程,并使用獲得的檢索結(jié)果來(lái)改進(jìn)思維鏈或優(yōu)化查詢中的模糊部分。遞歸檢索允許不斷學(xué)習(xí)和適應(yīng)用戶需求,通常能提高搜索結(jié)果的滿意度。
自適應(yīng)檢索
自適應(yīng)檢索方法通過(guò)使LLM主動(dòng)確定檢索的最佳時(shí)間和內(nèi)容來(lái)改進(jìn)RAG框架,從而提高檢索信息的效率和相關(guān)性。這些方法包括使用強(qiáng)化學(xué)習(xí)框架、自我反思令牌和自動(dòng)監(jiān)測(cè)生成過(guò)程的置信度等手段。LLM優(yōu)化引起了人們的極大關(guān)注,優(yōu)化方法包括提示工程、微調(diào)(FT)和RAG等,如圖6所示,需要根據(jù)特定場(chǎng)景的要求和每個(gè)方法的固有屬性進(jìn)行選擇,RAG和FT的詳細(xì)比較請(qǐng)參見(jiàn)表1。
圖6 RAG與其他模型優(yōu)化方法的比較
表1 RAG與微調(diào)之間的比較
6.4 RAG與微調(diào)的比較
RAG和FT是兩種不同的信息檢索模型訓(xùn)練方法,RAG適合特定查詢,FT適合內(nèi)化知識(shí)。FT可以通過(guò)強(qiáng)化基礎(chǔ)模型知識(shí)、調(diào)整輸出和教授復(fù)雜指令來(lái)提高模型性能和效率,但不適合整合新知識(shí)或快速迭代新用途。RAG和FT并非相互排斥,可以相互補(bǔ)充,在不同層次上增強(qiáng)模型能力。優(yōu)化涉及RAG和FT的過(guò)程可能需要多次迭代才能達(dá)到滿意結(jié)果。
7 RAG評(píng)估
自然語(yǔ)言處理領(lǐng)域中RAG的快速發(fā)展和廣泛應(yīng)用推動(dòng)了法律語(yǔ)言學(xué)社區(qū)的前沿研究。評(píng)估的主要目的是理解和優(yōu)化RAG模型在不同應(yīng)用場(chǎng)景的性能。評(píng)估方法從特定任務(wù)評(píng)估方法和指標(biāo)轉(zhuǎn)移到基于其獨(dú)特屬性的現(xiàn)有文獻(xiàn)的綜合,涵蓋了RAG評(píng)估的目標(biāo)、對(duì)這些模型進(jìn)行評(píng)估的方面、以及可用于此類評(píng)估的基準(zhǔn)和工具。目的是提供一個(gè)關(guān)于RAG模型評(píng)估的全面概述。
7.1 評(píng)估目標(biāo)
對(duì)RAG模型的評(píng)價(jià)集中于其檢索和生成模塊,以全面評(píng)估上下文質(zhì)量和內(nèi)容質(zhì)量。
檢索質(zhì)量評(píng)估
評(píng)估檢索質(zhì)量對(duì)于確定檢索組件提供的上下文的有效性至關(guān)重要。可以使用搜索引擎、推薦系統(tǒng)和信息檢索系統(tǒng)的標(biāo)準(zhǔn)指標(biāo)來(lái)衡量RAG檢索模塊的性能。通常使用命中率、MRR和NDCG等指標(biāo)來(lái)評(píng)估檢索模塊的性能。
生成質(zhì)量評(píng)估
生成質(zhì)量的評(píng)估包括真實(shí)性、相關(guān)性、非危害性和準(zhǔn)確性,可以通過(guò)手動(dòng)或自動(dòng)評(píng)估方法進(jìn)行。對(duì)于未標(biāo)記的內(nèi)容,評(píng)估還包括上下文相關(guān)的答案。對(duì)于標(biāo)記的內(nèi)容,重點(diǎn)是模型產(chǎn)生的信息的準(zhǔn)確性。評(píng)估方法可以用于檢索和生成的質(zhì)量評(píng)估。
7.2 評(píng)估方面
當(dāng)前評(píng)價(jià)RAG模型主要關(guān)注三個(gè)關(guān)鍵質(zhì)量分?jǐn)?shù)和四個(gè)基本能力,這些因素共同影響著模型的檢索和生成兩大目標(biāo)。
質(zhì)量分?jǐn)?shù)
質(zhì)量分?jǐn)?shù)包括上下文相關(guān)性、答案準(zhǔn)確性和答案相關(guān)性。這些質(zhì)量分?jǐn)?shù)從信息檢索和生成過(guò)程中的不同角度評(píng)估RAG模型的效率,確保檢索到的上下文精確且具有特異性,生成的答案與所提出的問(wèn)題保持一致并避免矛盾,同時(shí)與核心問(wèn)題直接相關(guān)。
所需能力
RAG評(píng)估包括噪聲魯棒性、負(fù)拒絕、信息整合和反事實(shí)魯棒性四種能力,這些能力對(duì)于模型在各種挑戰(zhàn)和復(fù)雜場(chǎng)景下的性能至關(guān)重要。此外,上下文相關(guān)性和噪聲魯棒性對(duì)于評(píng)估檢索質(zhì)量很重要,而答案真實(shí)性、答案相關(guān)性、負(fù)拒絕、信息整合和反事實(shí)魯棒性對(duì)于評(píng)估生成質(zhì)量也很重要。表2總結(jié)了每個(gè)評(píng)估方面的具體指標(biāo)。
表2 適用于評(píng)價(jià)方面RAG的指標(biāo)摘要表
7.3 評(píng)估基準(zhǔn)和工具
RAG模型評(píng)估框架包括基準(zhǔn)測(cè)試和自動(dòng)化評(píng)估工具,這些工具提供了定量指標(biāo),可以衡量模型表現(xiàn)并增強(qiáng)對(duì)模型在各種評(píng)估方面的能力理解?;鶞?zhǔn)測(cè)試側(cè)重于評(píng)估模型的基本能力,而最先進(jìn)的自動(dòng)化工具使用LLM來(lái)裁決質(zhì)量分?jǐn)?shù)。這些工具和基準(zhǔn)共同構(gòu)成了系統(tǒng)評(píng)估RAG模型的強(qiáng)大框架,如表3.
表3 評(píng)價(jià)框架摘要
8 未來(lái)展望
這部分探討了RAG的三個(gè)未來(lái)展望:未來(lái)的挑戰(zhàn)、模式擴(kuò)展和RAG生態(tài)系統(tǒng)。
8.1 RAG的未來(lái)挑戰(zhàn)
RAG技術(shù)雖然取得了顯著進(jìn)展,但仍面臨一些挑戰(zhàn):
- 上下文長(zhǎng)度:RAG效果受限于大型語(yǔ)言模型(LLM)的上下文窗口大小,需要在信息不足和風(fēng)險(xiǎn)較高的信息稀釋之間找到平衡。
- 魯棒性:檢索過(guò)程中的噪聲或矛盾信息可能影響RAG輸出質(zhì)量,提高RAG對(duì)抗性或反事實(shí)輸入的抵抗力是研究熱點(diǎn)。
- 混合方法(RAG+FT):將RAG與微調(diào)相結(jié)合成為主導(dǎo)策略,確定最佳集成方式和利用參數(shù)化和非參數(shù)化優(yōu)勢(shì)值得探索。
- 擴(kuò)大LLM角色:確定在RAG系統(tǒng)中進(jìn)一步釋放LLMs潛力的方式是研究熱點(diǎn)。
- 規(guī)模定律:RAG模型中的參數(shù)數(shù)量落后于LLMs,反規(guī)模定律的可能性值得研究。
- 生產(chǎn)就緒的RAG:提高檢索效率、在大型知識(shí)庫(kù)中提高文檔召回率以及確保數(shù)據(jù)安全性等關(guān)鍵工程挑戰(zhàn)仍需解決。
RAG的模態(tài)擴(kuò)展
RAG已經(jīng)超越了基于文本的問(wèn)答,接納了圖像、音頻和視頻等多種模態(tài)數(shù)據(jù),催生了創(chuàng)新的多模態(tài)模型。在圖像領(lǐng)域,RA-CM3和BLIP-2等模型實(shí)現(xiàn)了文本和圖像的檢索和生成,以及零樣本圖像到文本轉(zhuǎn)換。在音頻和視頻領(lǐng)域,GSS方法將機(jī)器翻譯數(shù)據(jù)轉(zhuǎn)換為語(yǔ)音翻譯數(shù)據(jù),UEOP在端到端自動(dòng)語(yǔ)音識(shí)別方面取得進(jìn)展,基于KNN的注意力融合改進(jìn)了ASR,Vid2Seq使用專門的計(jì)時(shí)器來(lái)增強(qiáng)語(yǔ)言模型,促進(jìn)事件邊界和文本描述的預(yù)測(cè)以及統(tǒng)一輸出序列。在代碼領(lǐng)域,RBPS通過(guò)編碼和頻率分析檢索與開(kāi)發(fā)人員目標(biāo)一致的代碼示例,在小規(guī)模學(xué)習(xí)任務(wù)中表現(xiàn)出色。對(duì)于結(jié)構(gòu)化知識(shí),CoK方法首先從知識(shí)圖中提取與輸入查詢相關(guān)的信息,然后將這些事實(shí)作為提示集成到輸入中,提高知識(shí)圖問(wèn)答任務(wù)的性能。
8.2 RAG生態(tài)系統(tǒng)
RAG是一種強(qiáng)大的語(yǔ)言模型,能夠處理復(fù)雜的查詢并產(chǎn)生詳細(xì)的響應(yīng)。它在開(kāi)放式問(wèn)答和事實(shí)核查等下游任務(wù)中表現(xiàn)出色,提高了響應(yīng)的精確性、相關(guān)性、多樣性和深度。RAG在醫(yī)學(xué)、法律和教育等領(lǐng)域的可擴(kuò)展性和通用性值得進(jìn)一步研究,可能降低培訓(xùn)成本,提高專業(yè)領(lǐng)域知識(shí)問(wèn)題回答的性能。完善RAG的評(píng)估框架至關(guān)重要,需要開(kāi)發(fā)微妙的指標(biāo)和評(píng)估工具,以衡量上下文相關(guān)性、內(nèi)容創(chuàng)造性以及非惡意性等因素。提高RAG驅(qū)動(dòng)模型的解釋性也是一個(gè)關(guān)鍵目標(biāo),這將有助于建立用戶對(duì)RAG應(yīng)用程序的信任和透明度。
技術(shù)堆棧
RAG生態(tài)系統(tǒng)的發(fā)展受到技術(shù)堆棧發(fā)展的影響,如LangChain和LLamaIndex等關(guān)鍵工具的流行,提供了廣泛的RAG相關(guān)API。新興的技術(shù)堆棧如FlowiseAI10、HayStack、Meltano11和CohereCoral12也因其獨(dú)特貢獻(xiàn)受到關(guān)注。傳統(tǒng)的軟件和云服務(wù)提供商也在擴(kuò)大服務(wù)范圍,包括以RAG為中心的服務(wù)。RAG模型和技術(shù)堆棧的共同增長(zhǎng)是顯而易見(jiàn)的,技術(shù)進(jìn)步不斷為現(xiàn)有基礎(chǔ)設(shè)施制定新標(biāo)準(zhǔn)。RAG工具包正在匯集成為一個(gè)基礎(chǔ)技術(shù)堆棧,為高級(jí)企業(yè)應(yīng)用程序奠定基礎(chǔ)。然而,完全集成和全面的平臺(tái)的概念仍然存在,有待進(jìn)一步的創(chuàng)新和發(fā)展。
圖 7 RAG 的生態(tài)系統(tǒng)概覽
?
如何學(xué)習(xí)AI大模型?
作為一名熱心腸的互聯(lián)網(wǎng)老兵,我決定把寶貴的AI知識(shí)分享給大家。 至于能學(xué)習(xí)到多少就看你的學(xué)習(xí)毅力和能力了 。我已將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書(shū)籍手冊(cè)、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來(lái)。
這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN,朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)
】

一、全套AGI大模型學(xué)習(xí)路線
AI大模型時(shí)代的學(xué)習(xí)之旅:從基礎(chǔ)到前沿,掌握人工智能的核心技能!
二、640套AI大模型報(bào)告合集
這套包含640份報(bào)告的合集,涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無(wú)論您是科研人員、工程師,還是對(duì)AI大模型感興趣的愛(ài)好者,這套報(bào)告合集都將為您提供寶貴的信息和啟示。
三、AI大模型經(jīng)典PDF籍
隨著人工智能技術(shù)的飛速發(fā)展,AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型,如GPT-3、BERT、XLNet等,以其強(qiáng)大的語(yǔ)言理解和生成能力,正在改變我們對(duì)人工智能的認(rèn)識(shí)。 那以下這些PDF籍就是非常不錯(cuò)的學(xué)習(xí)資源。
四、AI大模型商業(yè)化落地方案
作為普通人,入局大模型時(shí)代需要持續(xù)學(xué)習(xí)和實(shí)踐,不斷提高自己的技能和認(rèn)知水平,同時(shí)也需要有責(zé)任感和倫理意識(shí),為人工智能的健康發(fā)展貢獻(xiàn)力量。