當下AI與數(shù)據(jù)庫的融合已成為推動數(shù)據(jù)管理和分析領(lǐng)域發(fā)展的重要力量。傳統(tǒng)的數(shù)據(jù)庫查詢方式，如結(jié)構(gòu)化查詢語言（SQL），要求用戶具備專業(yè)的數(shù)據(jù)庫知識，這無疑限制了非專業(yè)人士對數(shù)據(jù)的訪問和利用。為了打破這一壁壘，AI驅(qū)動的數(shù)據(jù)庫查詢方法應運而生，其中Text2SQL和檢索增強生成（RAG）（微軟最新研究：RAG（Retrieval-Augmented Generation）的四個級別深度解析）是兩種具有代表性的技術(shù)。然而，這兩種方法在實際應用中均存在局限性，促使研究人員探索更為強大和靈活的框架。今天我們一起了解一下表增強生成（TAG），并探討其在AI驅(qū)動數(shù)據(jù)庫查詢領(lǐng)域的潛力和未來研究方向。

一、現(xiàn)有方法的局限性

Text2SQL的局限

Text2SQL方法的核心在于將用戶的自然語言查詢轉(zhuǎn)換為可執(zhí)行的SQL語句，從而在關(guān)系型數(shù)據(jù)庫上執(zhí)行查詢。這種方法在處理與結(jié)構(gòu)化數(shù)據(jù)直接相關(guān)的查詢時表現(xiàn)出色，但在面對需要外部世界知識或語義推理的復雜用戶請求時則顯得力不從心。根據(jù)研究人員的觀點，現(xiàn)實世界的業(yè)務查詢通常涉及以下四個方面：

1. 領(lǐng)域知識

   這部分知識由數(shù)據(jù)庫本身覆蓋。

2. 世界知識

   這需要語言模型理解外部信息。

3. 精確計算

   數(shù)據(jù)庫系統(tǒng)能夠高效地處理這類任務。

4. 語義推理

   這需要高級語言模型的能力。

Text2SQL的主要局限在于其無法充分利用語言模型的廣泛知識和推理能力。因此，當查詢需要推理或世界知識時，Text2SQL方法的準確性通常較低（在基準測試中約為20%）。

RAG的局限

RAG方法結(jié)合了基于檢索的技術(shù)和語言模型，通過以下步驟工作：

1. 使用嵌入技術(shù)檢索相關(guān)數(shù)據(jù)記錄。

2. 基于檢索到的數(shù)據(jù)生成響應。

雖然RAG（Multi-Agentic RAG：探索智能問答系統(tǒng)的新邊界（含代碼））在處理點查找方面表現(xiàn)良好，但它缺乏執(zhí)行涉及大型數(shù)據(jù)集上計算的復雜查詢的能力，如聚合、排名或迭代推理。此外，RAG往往過度依賴語言模型來處理更適合數(shù)據(jù)庫系統(tǒng)的任務，導致結(jié)果易出錯且效率低下。

二、Table-Augmented Generation（TAG）的引入

鑒于Text2SQL和RAG的局限性，加州大學伯克利分校和斯坦福大學的研究人員提出了一種新的框架——表增強生成（TAG）。TAG（表格增強生成 TAG（Table Augmented Generation)：大模型與數(shù)據(jù)庫融合的新思路）旨在統(tǒng)一語言模型和數(shù)據(jù)庫系統(tǒng)的優(yōu)勢，為回答復雜自然語言查詢提供一個通用解決方案。

TAG的關(guān)鍵步驟

TAG框架包含三個關(guān)鍵步驟：查詢合成、查詢執(zhí)行和答案生成。

1、查詢合成

查詢合成的第一步是將用戶的自然語言請求轉(zhuǎn)換為可執(zhí)行的查詢。這包括兩個子步驟：

• 模式理解

  TAG分析數(shù)據(jù)庫模式，以確定相關(guān)的表和列。

• 語義解析

  將用戶的請求轉(zhuǎn)換為結(jié)構(gòu)化查詢，通常是SQL格式。

例如，對于查詢“總結(jié)被認為經(jīng)典的最高票房浪漫電影的評論”，TAG會生成一個SQL查詢，從包含電影類型、收入和評論信息的表中選擇相關(guān)數(shù)據(jù)。

2、查詢執(zhí)行

一旦查詢被合成，它就在數(shù)據(jù)庫引擎上執(zhí)行。這一步驟有兩個關(guān)鍵優(yōu)勢：

• 效率

  數(shù)據(jù)庫引擎針對在大型數(shù)據(jù)集上執(zhí)行復雜查詢進行了優(yōu)化。

• 靈活性

  TAG可以與各種數(shù)據(jù)庫類型一起工作，包括關(guān)系型數(shù)據(jù)庫、向量存儲和支持基于語言模型的操作符的混合系統(tǒng)。

在上面的例子中，數(shù)據(jù)庫查詢引擎檢索與浪漫電影對應的行，并按收入對它們進行排名。這一步驟確保了過濾、計數(shù)和聚合等計算任務由數(shù)據(jù)庫高效處理。

3、答案生成

最后一步使用語言模型生成自然語言響應。這包括：

• 語義理解

  語言模型解釋檢索到的數(shù)據(jù)并制定連貫的答案。

• 自然語言生成

  模型生成語法正確且上下文適當?shù)捻憫?/p>

• 迭代推理

  TAG可以采用迭代或遞歸生成模式來處理需要多步推理或聚合的復雜查詢。

例如，在檢索到關(guān)于最高票房浪漫電影的數(shù)據(jù)后，語言模型生成評論的摘要，為用戶提供對用戶查詢的完整且可理解的答案。

基準測試結(jié)果與評估

研究人員對TAG與傳統(tǒng)Text2SQL和RAG方法進行了廣泛的基準測試。關(guān)鍵發(fā)現(xiàn)包括：

• Text2SQL性能

  由于僅依賴SQL代碼生成而沒有單獨的答案生成步驟，其準確性不超過20%。

• RAG性能

  在所有查詢類型中僅正確回答了一個查詢，凸顯了其在處理涉及推理和計算的復雜查詢方面的局限性。

• 手寫TAG管道

  使用LOTUS運行時實現(xiàn)的手寫TAG管道實現(xiàn)了高達65%的準確性，顯著優(yōu)于Text2SQL和RAG基線。

這些評估結(jié)果強調(diào)了TAG在有效結(jié)合語言模型的推理能力和數(shù)據(jù)庫系統(tǒng)的計算能力方面的潛力。通過利用這兩個組件，TAG為回答結(jié)構(gòu)化數(shù)據(jù)上的自然語言查詢提供了一個更準確且靈活的解決方案。

三、TAG的未來研究方向

盡管TAG在AI驅(qū)動數(shù)據(jù)庫查詢領(lǐng)域展現(xiàn)出了巨大潛力，但仍有許多領(lǐng)域值得進一步探索和研究。以下是幾個關(guān)鍵的研究方向：

1. 先進的查詢合成方法：開發(fā)更復雜的技術(shù)，以將復雜的自然語言查詢轉(zhuǎn)換為可執(zhí)行的數(shù)據(jù)庫查詢。這包括增強對自然語言的理解能力，以及提高將自然語言轉(zhuǎn)換為結(jié)構(gòu)化查詢的準確性。

2. 探索不同的數(shù)據(jù)庫引擎：研究使用不同的數(shù)據(jù)庫執(zhí)行引擎，包括那些原生支持機器學習操作符的引擎。這有助于評估TAG在不同數(shù)據(jù)庫環(huán)境下的性能和適用性，并推動數(shù)據(jù)庫技術(shù)的創(chuàng)新。

3. 優(yōu)化的語言模型生成模式：設(shè)計針對特定查詢類型的生成模式，如迭代總結(jié)或遞歸推理。這可以提高TAG在處理復雜查詢時的效率和準確性，并為用戶提供更豐富的查詢體驗。

Table-Augmented Generation（TAG）代表了AI驅(qū)動數(shù)據(jù)庫查詢領(lǐng)域的一次范式轉(zhuǎn)變。通過統(tǒng)一Text2SQL和RAG（探索 Auto-RAG：提升人工智能知識獲取與生成能力的新路徑）的優(yōu)勢并解決它們的局限性，TAG為回答復雜的自然語言查詢提供了一個通用解決方案。加州大學伯克利分校和斯坦福大學的研究表明，TAG在改變用戶與數(shù)據(jù)交互的方式方面具有巨大潛力，為AI驅(qū)動的數(shù)據(jù)管理開辟了新的研究途徑和應用領(lǐng)域。

隨著技術(shù)的不斷進步和應用的不斷拓展，TAG有望在更多領(lǐng)域發(fā)揮重要作用。例如，在金融領(lǐng)域，TAG可以幫助分析師快速提取和分析大量數(shù)據(jù)，為決策提供有力支持；在醫(yī)療領(lǐng)域，TAG可以輔助醫(yī)生從海量病歷和研究文獻中提取關(guān)鍵信息，提高診斷效率和準確性。此外，TAG還可以在教育、科研、電子商務等多個領(lǐng)域發(fā)揮重要作用，推動數(shù)據(jù)驅(qū)動的創(chuàng)新和發(fā)展。

表增強生成（TAG）作為 AI 驅(qū)動數(shù)據(jù)庫查詢領(lǐng)域的一次范式轉(zhuǎn)變，成功地整合了 Text2SQL 和 RAG 的優(yōu)勢，并有效克服了它們的局限性。它為解決復雜自然語言查詢問題提供了通用且強大的解決方案，為用戶與數(shù)據(jù)的交互方式帶來了新的可能性。