解讀：PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL Framework with Cross-consistency

這篇論文介紹了一個名為 PET-SQL 的文本到 SQL（Text-to-SQL）框架，旨在通過增強提示（prompt）和利用不同大型語言模型（LLM）之間的交叉一致性來提高性能。PET-SQL 框架在 Spider 基準測試中取得了 87.6% 的執(zhí)行準確率，這是目前已知的最佳結(jié)果。

1. 方法論

1.1 Prompting（提示）

在指導大型語言模型（LLM）生成 SQL 查詢時，提示（prompt）的風格或模板對模型的性能有顯著影響。作者提出了一種稱為參考增強表示（Reference-enhanced Representation, REp）的提示方法，它在傳統(tǒng)的 OpenAI 示范（OpenAI Demonstration, ODp）基礎上進行了增強。REp 包括以下幾個關(guān)鍵部分：

1. 優(yōu)化規(guī)則（Optimization Rule, OR）：提示中加入了一個多任務約束規(guī)則，要求 LLM 在確保正確性的同時最小化 SQL 執(zhí)行時間。這有助于避免生成冗余字符和操作符，從而減少異常。

2. 單元格值引用（Cell Value References, CV）：在提示中隨機采樣并插入表中的幾行數(shù)據(jù)，作為參考，幫助 LLM 理解數(shù)據(jù)庫的格式和規(guī)范。這有助于解決由于不同表中數(shù)據(jù)格式不一致而導致的查詢條件不明確的問題。

3. 外鍵聲明（Foreign Key Declarations, FK）：在提示中添加了模式中外鍵關(guān)系，幫助 LLM 識別數(shù)據(jù)庫中表之間的連接，從而更好地理解用戶的意圖并自動選擇合適的連接。

1.2 基于問題骨架的 PreSQL 生成

這一模塊的目標是從已知數(shù)據(jù)集中檢索與目標問題具有相似意圖的領(lǐng)域不可知樣本，這些檢索到的樣本可以作為 LLM 的上下文學習示例。具體步驟如下：

1. 問題去語義化：根據(jù)數(shù)據(jù)庫模式，將問題中的域相關(guān)標記（如表名、列名和值）用特殊標記 <mask> 替換，得到代表問題意圖的問題骨架。

2. 檢索示例：使用預訓練的句子 Transformer 模型，基于問題骨架的語義嵌入，從示例池中檢索與目標問題最相似的 K 個樣本。

3. 構(gòu)建提示：將選定的示例與 REp 結(jié)合，作為少量上下文（few-shot context）添加到提示中，然后使用這個提示來生成初步的 SQL（PreSQL）。

1.3 模式鏈接和 FinSQL 生成

為了減少可能阻礙 LLM 性能的冗長模式信息，作者提出了基于 PreSQL 的模式鏈接方法，以識別與數(shù)據(jù)庫模式和自然語言問題相關(guān)的引用（表/列）。具體步驟包括：

1. 模式鏈接：直接從 PreSQL 中解析出與問題相關(guān)的表/列實體作為鏈接結(jié)果，而不是設計策略讓 LLM 輸出相關(guān)的數(shù)據(jù)庫引用。

2. 簡化提示：使用解析出的模式信息簡化提示，去除與鏈接表無關(guān)的所有上下文，包括模式屬性、數(shù)據(jù)庫引用和外鍵聲明。

3. 生成 FinSQL：將簡化后的提示輸入 LLM，生成最終的 SQL（FinSQL）。

1.4 交叉一致性

這一部分詳細描述了基于數(shù)據(jù)庫引擎執(zhí)行 SQL 查詢結(jié)果的一致性模塊，包括兩種可行的實現(xiàn)策略：

1. 簡單投票：使用多個 LLM 生成 SQL，并根據(jù)執(zhí)行結(jié)果進行投票，以多數(shù)結(jié)果作為最終答案。

2. 基于 PreSQL 復雜度的細粒度投票：根據(jù) PreSQL 的復雜度將問題分為不同等級，并由不同的候選 LLM 解決，以進行投票。這種方法可以最大化 LLM 的潛力，并顯著減少投票偏差。

2. 實驗

• 數(shù)據(jù)集和指標：使用 Spider 基準測試進行評估，主要指標是執(zhí)行準確率（EX）。
• 評估的 LLM：包括 CodeLlama、SQLCoder、InternLM、SenseChat 和 GPT4。
• 實驗設置：設置低溫（低隨機性）以減少 LLM 輸出的隨機性，輸入和輸出的最大長度分別為 4096 和 200。
• 整體性能：PET-SQL 在 Spider 測試集上取得了 87.6% 的執(zhí)行準確率，超過了其他非學習基礎方法。
• 提示的影響：提出的提示（REp）在零樣本設置下表現(xiàn)出色，比現(xiàn)有的提示方法有顯著改進。
• 模式鏈接的影響：通過模式鏈接簡化提示信息可以提高 LLM 生成 SQL 查詢的效率和準確性。
• 交叉一致性的影響：交叉一致性策略比自我一致性更有效，能夠提高整體執(zhí)行準確率。

3.局限性及未來方向

3.1局限性

1. 模型復雜性和計算成本：PET-SQL 框架涉及多個階段的處理，包括預 SQL 生成、模式鏈接和交叉一致性檢查，這可能導致較高的計算成本，尤其是在需要多個 LLM 協(xié)作時。

2. 數(shù)據(jù)集依賴性：盡管在 Spider 基準測試中取得了良好的性能，但 PET-SQL 框架可能對數(shù)據(jù)集的特定特征敏感。在不同的數(shù)據(jù)庫模式或領(lǐng)域特定的數(shù)據(jù)集上，性能可能會有所不同。

3. 提示設計：盡管論文提出了一種有效的提示設計方法，但提示的設計可能需要針對不同的 LLM 進行調(diào)整，以實現(xiàn)最佳性能。

4. 錯誤處理和異常情況：在處理復雜的用戶意圖或數(shù)據(jù)庫模式時，PET-SQL 可能在某些情況下無法生成正確的 SQL 查詢，尤其是在處理模糊或不明確的自然語言輸入時。

5. 模型多樣性：雖然交叉一致性利用了不同 LLM 之間的差異，但實際應用中可能需要更多的模型和更廣泛的多樣性來進一步提高性能。

3.2未來方向

1. 優(yōu)化計算效率：未來的工作可以探索減少計算成本的方法，例如通過改進算法或使用更高效的 LLM 架構(gòu)。

2. 泛化能力：研究如何提高 PET-SQL 在不同數(shù)據(jù)庫模式和領(lǐng)域數(shù)據(jù)集上的泛化能力，使其更加靈活和適應性強。

3. 提示自動化：開發(fā)自動化工具來生成和優(yōu)化提示，減少手動調(diào)整的需要，并提高框架的易用性。

4. 錯誤分析和修正：深入分析 PET-SQL 在特定情況下失敗的原因，并開發(fā)有效的錯誤處理和異常情況修正機制。

5. 增強模型多樣性：探索更多的 LLM 選項，并研究如何更有效地結(jié)合它們的輸出，以進一步提高交叉一致性的效果。

6. 交互式學習：考慮用戶反饋循環(huán)，使 PET-SQL 能夠在與用戶的交互中學習和改進，以更好地理解復雜的用戶意圖。

7. 多模態(tài)輸入：擴展 PET-SQL 以處理多模態(tài)輸入，如結(jié)合自然語言和視覺信息，以支持更豐富的應用場景。

8. 可解釋性和透明度：提高 PET-SQL 的可解釋性，讓用戶理解模型的決策過程，增加對模型結(jié)果的信任。