1、什么是 RAG

RAG（Retr?ieval-Augmented ?Generation，檢索增強(qiáng)生?成）是一種結(jié)合信息檢索技術(shù)和 A?I 內(nèi)容生成的混合架構(gòu)，可以解決?大模型的知識時(shí)效性限制和幻覺問題。

簡單來說，RA?G 就像給 AI 配了一個(gè)? “小抄本”，讓 AI 回?答問題前先查一查特定的知識?庫來獲取知識，確保回答是基?于真實(shí)資料而不是憑空想象。

從技術(shù)角度看，R?AG 在大語言模型生成回答之前?，會先從外部知識庫中檢索相關(guān)信?息，然后將這些檢索到的內(nèi)容作為?額外上下文提供給模型，引導(dǎo)其生?成更準(zhǔn)確、更相關(guān)的回答。

通過 RAG 技術(shù)改造后，AI 就能：

1. 準(zhǔn)確回答關(guān)于特定內(nèi)容的問題
2. 在合適的時(shí)機(jī)推薦相關(guān)課程和服務(wù) （搜索推薦服務(wù)，廣告競價(jià)排名變現(xiàn)）
3. 用特定的語氣和用戶交流
4. 提供更新、更準(zhǔn)確的建議

特性	傳統(tǒng)大語言模型	RAG增強(qiáng)模型
知識時(shí)效性	受訓(xùn)練數(shù)據(jù)截止日期限制	可接入最新知識庫
領(lǐng)域?qū)I(yè)性	泛化知識?，專業(yè)深度有限	可接入專業(yè)領(lǐng)域知識
響應(yīng)準(zhǔn)?確性	可能產(chǎn)生 “幻覺”	基于檢索的事?實(shí)依據(jù)
可控性	依賴原始訓(xùn)練	可通過知?識庫定制輸出
資源消耗	較高（需要大模型參?數(shù)）	模型可更小，結(jié)合外部知識

2、RAG 工作流程

AG 技?術(shù)實(shí)現(xiàn)主要包含以下? 4 個(gè)核心步驟，?讓我們分步來學(xué)習(xí)：

• 文檔收集和切割
• 向量轉(zhuǎn)換和存儲
• 文檔過濾和檢索
• 查詢增強(qiáng)和關(guān)聯(lián)

2.1、文檔收集和切割

文檔收集：從各種來源（網(wǎng)頁、PDF、數(shù)據(jù)庫等）收集原始文檔

文檔預(yù)處理：清洗、標(biāo)準(zhǔn)化文本格式

文檔切割：?將長文檔分割成適當(dāng)?大小的片段（俗稱 ?chunks）

• 基于固定大小（如 512 個(gè) token）
• 基于語義邊界（如段落、章節(jié)）
• 基于遞歸分割策略（如遞歸字符 n-gram 切割）

2.2、向量轉(zhuǎn)換和存儲

向量轉(zhuǎn)換：?使用 Embedd?ing 模型將文本?塊轉(zhuǎn)換為高維向量表?示，可以捕獲到文本?的語義特征

向量存儲：?將生成的向量和對應(yīng)?文本存入向量數(shù)據(jù)庫?，支持高效的相似性?搜索

2.3、文檔過濾和檢索

查詢處理：將用戶問題也轉(zhuǎn)換為向量表示

過濾機(jī)制：基于元數(shù)據(jù)、關(guān)鍵詞或自定義規(guī)則進(jìn)行過濾

相似度搜索?：在向量數(shù)據(jù)庫中查?找與問題向量最相似?的文檔塊，常用的相?似度搜索算法有余弦?相似度、歐氏距離等

上下文組裝：將檢索到的多個(gè)文檔塊組裝成連貫上下文

2.4、查詢增強(qiáng)和關(guān)聯(lián)

提示詞組裝：將檢索到的相關(guān)文檔與用戶問題組合成增強(qiáng)提示

上下文融合：大模型基于增強(qiáng)提示生成回答

源引用：在回答中添加信息來源引用

后處理：格式化、摘要或其他處理以優(yōu)化最終輸出

2.5完整工作流程

分別理解上?述 4 個(gè)步驟后，?我們可以將它們組合?起來，形成完整的 ?RAG 檢索增強(qiáng)生?成工作流程：

3、R?AG 相關(guān)技術(shù)?????????????????????????????????

3.1、Embedding 和 Embedding 模型

Embeddin?g 嵌入是將高維離散數(shù)據(jù)（如文?字、圖片）轉(zhuǎn)換為低維連續(xù)向量的?過程。這些向量能在數(shù)學(xué)空間中表?示原始數(shù)據(jù)的語義特征，使計(jì)算機(jī)?能夠理解數(shù)據(jù)間的相似性。

Embedding 模型是?執(zhí)行這種轉(zhuǎn)換算法的機(jī)器學(xué)習(xí)模型，如 Word2Ve?c（文本）、ResNet（圖像）等。不同的 Emb?edding 模型產(chǎn)生的向量表示和維度數(shù)不同，一般?維度越高表達(dá)能力更強(qiáng)，可以捕獲更豐富的語義信息和更?細(xì)微的差別，但同樣占用更多存儲空間。

3.2向量數(shù)據(jù)庫

向量數(shù)據(jù)庫?是專門存儲和檢索向量?數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)。通?過高效索引算法實(shí)現(xiàn)快?速相似性搜索，支持 ?K 近鄰查詢等操作

3.3、召回

召回是信息檢索中的第一階段，目標(biāo)是從大規(guī)模數(shù)據(jù)集中快速篩選出可能相關(guān)的候選項(xiàng)子集。強(qiáng)調(diào)速度和廣度，而非精確度。

舉個(gè)例子，我們要從搜?索引擎查詢 “程序員?學(xué)習(xí)交流群” 時(shí)，召回階段會從數(shù)十億網(wǎng)?頁中快速篩選出數(shù)千個(gè)含有“程序員” 等相關(guān)內(nèi)容的頁面，為后?續(xù)粗略排序和精細(xì)排序提供候選集。

3.4、精排和 Rank 模型

精排（精確排?序）是搜索 / 推薦系統(tǒng)?的最后階段，使用計(jì)算復(fù)雜?度更高的算法，考慮更多特?征和業(yè)務(wù)規(guī)則，對少量候選?項(xiàng)進(jìn)行更復(fù)雜、精細(xì)的排序。

比如，短視頻推薦?先通過召回獲取數(shù)萬個(gè)可能相關(guān)視頻?，再通過粗排縮減至數(shù)百條，最后精?排階段會考慮用戶最近的互動、視頻?熱度、內(nèi)容多樣性等復(fù)雜因素，確定?最終展示的 10 個(gè)視頻及順序。

Rank ?模型（排序模型）負(fù)?責(zé)對召回階段篩選出?的候選集進(jìn)行精確排?序，考慮多種特征評?估相關(guān)性。

現(xiàn)代 Rank 模型?通?；谏疃葘W(xué)習(xí)，如 BERT、Lamb?daMART 等，綜合考慮查詢與候選項(xiàng)的?相關(guān)性、用戶歷史行為等因素。舉個(gè)例子，電?商推薦系統(tǒng)會根據(jù)商品特征、用戶偏好、點(diǎn)擊?率等給每個(gè)候選商品打分并排序。

3.5、混合檢索策略

混合檢索策?略結(jié)合多種檢索方法?的優(yōu)勢，提高搜索?效果。常見組合包括關(guān)?鍵詞檢索、語義檢索、知?識圖譜等。

比如在 AI 大?模型開發(fā)平臺 Dify 中，就為?用戶提供了 “基于全文檢索的關(guān)鍵?詞搜索 + 基于向量檢索的語義檢?索” 的混合檢索策略，用戶還可以?自己設(shè)置不同檢索方式的權(quán)重。