發(fā)布時間：2024 年 09 月 13 日

Agent應(yīng)用

AgentRE: An Agent-Based Framework for Navigating Complex Information Landscapes in Relation Extraction
在復(fù)雜場景中，關(guān)系抽取 (RE) 因關(guān)系類型多樣和實體間關(guān)系模糊而挑戰(zhàn)重重，影響了傳統(tǒng) “文本輸入，文本輸出” 語言模型的性能。為此，我們提出了基于代理的 RE 框架 AgentRE，該框架通過整合大型語言模型的記憶、檢索和反思能力，有效應(yīng)對這些挑戰(zhàn)。AgentRE 包含三大模塊，助力代理高效獲取并處理信息，顯著提升 RE 性能。實驗表明，AgentRE 在低資源環(huán)境下表現(xiàn)卓越，并能生成高質(zhì)量訓(xùn)練數(shù)據(jù)，用于優(yōu)化小型模型。

一、背景

關(guān)系抽取（ Relation Extraction，簡稱RE）旨在將非結(jié)構(gòu)化文本轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)（即關(guān)系三元組），在知識圖譜構(gòu)建等領(lǐng)域能發(fā)揮關(guān)鍵作用。
然而，關(guān)系抽取常因關(guān)系類型的多樣性及句子中實體關(guān)系的模糊性等問題，致使高效 RE 難以實現(xiàn)。
近年來，大型語言模型（Large Language Models, LLMs）憑借其在自然語言理解與生成的強大效能，逐漸在關(guān)系抽取領(lǐng)域獲得廣泛應(yīng)用。雖已取得一定進展，這些應(yīng)用多限于監(jiān)督式微調(diào)或小規(guī)模樣本的問答（QA）形式的基礎(chǔ)抽取，于復(fù)雜關(guān)系抽取場景的應(yīng)用則較少。
將LLMs應(yīng)用于復(fù)雜RE任務(wù)時，面臨以下挑戰(zhàn)：

1. 如何最大化利用LLMs的潛力，深入挖掘有益于RE的多元信息？ 包括標(biāo)記樣本、關(guān)聯(lián)文獻及知識圖譜內(nèi)的知識等，均可助力提升RE模型性能。遺憾的是，LLMs的上下文窗口限制阻礙了對這些豐富信息的全面整合。
2. 如何在特定或數(shù)據(jù)貧乏領(lǐng)域有效實施RE？ 特定領(lǐng)域的數(shù)據(jù)稀缺性制約了傳統(tǒng)監(jiān)督模型的表現(xiàn)。
3. 如何以經(jīng)濟的方式實現(xiàn)高效的RE？ 雖然LLMs表現(xiàn)出色，但在實踐層面，模型尺寸較小、計算資源需求低的模型更受歡迎。因此，利用大型模型的智慧去微調(diào)小型模型成為了一個有吸引力的解決方案。

借鑒智能體框架的理念，即通過賦予系統(tǒng)記憶、反思及與外界互動的能力，可以有力推動復(fù)雜RE任務(wù)的解決。受此啟發(fā)，本文作者創(chuàng)新性地提出了一種基于智能體的RE框架——AgentRE，旨在克服上述關(guān)系抽取挑戰(zhàn)。

二、 什么是AgentRE?

上圖 (a) 展示了“文本輸入，文本輸出（text-in, text-out）”模式下語言模型的 RE 流程，該模型直接從輸入文本或通過簡單的提示方法產(chǎn)生帶有錯誤的結(jié)果。

圖(b)則展示了AgentRE的RE流程，這是一個包含檢索和記憶模塊的智能體框架，在多次推理回合中利用各種信息，以實現(xiàn)更精確的RE。

首先，AgentRE 將大型語言模型（LLM）作為智能體，處理來自不同渠道的數(shù)據(jù)。借助檢索和記憶模塊等工具，輔助智能體進行推理。與傳統(tǒng)的單輪“文本輸入，文本輸出”語言模型不同，AgentRE通過多輪交互和推理，拓寬了信息源的利用范圍，克服了單輪提取的局限。

其次，在資源有限的情況下，AgentRE能夠借助LLM的推理和記憶能力，在提取過程中進行動態(tài)總結(jié)和反思，從而精進其持續(xù)學(xué)習(xí)能力，通過不斷積累經(jīng)驗與知識，提升提取效能。

最后，將AgentRE的推理路徑轉(zhuǎn)化為包含多種推理策略的高質(zhì)量數(shù)據(jù)，如直接生成、分步提取和基于思維鏈的提取。這些豐富的數(shù)據(jù)可用于微調(diào)小型模型，引導(dǎo)它們靈活選擇不同的提取策略，從而在成本可控的前提下，提升模型的提取表現(xiàn)。

圖(a)AgentRE的整體架構(gòu)，其中LLM扮演智能體的角色，通過與檢索、記憶和提取模塊的協(xié)同工作，從輸入文本中提煉出關(guān)系三元組。

圖(b)至(d)分別展示了檢索、記憶和提取模塊的內(nèi)部結(jié)構(gòu)。

• 檢索模塊（Retrieval Module）：負責(zé)維護靜態(tài)知識庫，便于存儲和檢索信息，這包括訓(xùn)練集中的標(biāo)注樣本以及相關(guān)的標(biāo)注指南等資料。
• 記憶模塊（Memory Module）：負責(zé)維護動態(tài)知識庫，用于記錄當(dāng)前提取結(jié)果的短期記憶，以及用于總結(jié)和反思歷史操作的長期記憶。通過在記憶模塊中進行讀寫操作，記錄并利用以往的提取經(jīng)驗。
• 提取模塊（Extraction Module）：利用檢索和記憶模塊提供的信息，通過多種推理方法從輸入文本中抽取結(jié)構(gòu)化信息（關(guān)系三元組）。

2.1 檢索模塊

檢索模塊負責(zé)從現(xiàn)有數(shù)據(jù)集中提取相關(guān)樣本，并搜集補充知識，輔助提取模塊完成關(guān)系提取（RE）任務(wù)?？蓹z索的數(shù)據(jù)范圍廣泛且類型繁多，主要分為兩大類。

• 標(biāo)注數(shù)據(jù)：帶有明確輸入輸出關(guān)系的標(biāo)注數(shù)據(jù)，這些數(shù)據(jù)可以作為少量樣本整合進LLM的上下文中，幫助模型把握當(dāng)前任務(wù)的輸入輸出關(guān)系。
• 相關(guān)資訊：包括關(guān)系定義、標(biāo)注準(zhǔn)則，乃至百科全書中的外部知識。這些信息作為輔助資訊注入LLM的上下文，能夠輔助模型更好地理解提取任務(wù)。

為了高效地管理和運用這兩類數(shù)據(jù)，設(shè)計了兩種特定的檢索模塊：

• 樣本檢索模塊
• 相關(guān)信息檢索模塊。

一旦獲取了富有信息量的標(biāo)記數(shù)據(jù)和其它相關(guān)信息，檢索模塊就可以利用這些數(shù)據(jù)：

• 一種直接的方法是將它們合并為提示，以此整合有益信息。這些提示詞模板如上圖所示。提示詞分為不同顏色標(biāo)記的多個部分，每個部分都有清晰的標(biāo)簽，引導(dǎo)模型處理輸入文本并生成適當(dāng)?shù)妮敵觥?#xff1a;
  • ? 紫色部分用于任務(wù)描述和輸入句子
  • ? 藍色部分用于示例和可能的關(guān)系類型
  • ? 青綠色部分用于相關(guān)信息
  • ? 黑色部分用于輸出。
• 提取模塊可能會采用除直接提示之外的各種推理方法。

2.1.1 樣本檢索

如圖(b)下部展示，樣本檢索模塊利用編碼器將當(dāng)前文本轉(zhuǎn)化為嵌入向量。計算訓(xùn)練數(shù)據(jù)集中樣本與當(dāng)前文本的相似性，以檢索與當(dāng)前文本相似的樣本。

例如，對于句子“5月9日，諾貝爾文學(xué)獎得主、作家莫言在北京發(fā)表了演講?！?#xff0c;樣本檢索模塊可以從訓(xùn)練數(shù)據(jù)集中檢索出相關(guān)樣本，如文本“When the newly minted Nobel Prize in Literature, British novelist Kazuo Ishiguro, found himself…”及其對應(yīng)的關(guān)系三元組標(biāo)簽(Kazuo Ishiguro, 獲獎, Nobel Prize in Literature)。

提取過程可能被分解為兩個階段：

• 首先是識別句子中潛在的關(guān)系類型
• 然后基于這些識別出的候選關(guān)系類型進行提取

檢索候選關(guān)系類型的過程在圖(b)中以虛線箭頭表示。實現(xiàn)這種檢索的一種有效方法是開發(fā)一個在數(shù)據(jù)集上訓(xùn)練的分類器，預(yù)測給定文本中最可能出現(xiàn)的關(guān)系。此外，利用LLMs的推理能力也可以實現(xiàn)檢索關(guān)系類型的任務(wù)。

2.1.2 相關(guān)信息檢索

如圖(b)的上部展示，相關(guān)信息檢索模塊的目的是檢索與特定句子相關(guān)的知識點。相較于樣本檢索使用的嵌入檢索技術(shù)，本模塊運用了多元化的檢索手段，融合向量與實體，實現(xiàn)精確匹配與模糊語義匹配的有機結(jié)合。

以句子“5月9日，諾貝爾文學(xué)獎得主、作家莫言在北京發(fā)表了演講?！睘槔?#xff0c;本模塊不僅提取句子的語義信息，還識別出其中的潛在實體，如莫言、諾貝爾獎和北京，并利用這些實體檢索相關(guān)背景知識。

此外，以諾貝爾獎為起點，還能從標(biāo)注指南中檢索到關(guān)于獎項關(guān)系類型的詳細描述，包括關(guān)系兩端實體的定義和深入闡釋。

相關(guān)信息檢索模塊涵蓋提取關(guān)鍵信息或生成嵌入向量的預(yù)處理環(huán)節(jié)，以及多個用于檢索輸入文本相關(guān)資訊的檢索器。在預(yù)處理階段，除了文本編碼器，還包含一個實體識別器，用于識別輸入文本中的所有潛在實體。

采用多種策略從不同數(shù)據(jù)源中檢索相關(guān)知識，比如從知識圖譜中檢索實體的屬性和關(guān)系，從標(biāo)注指南中檢索關(guān)系類型的解釋性信息，或是從外部百科全書中檢索相關(guān)背景知識。記憶模塊

2.2 記憶模塊

記憶模塊負責(zé)在提取過程中動態(tài)地利用現(xiàn)有知識，并進行反思和總結(jié)，更好地完成后續(xù)的提取任務(wù)。

仿照人腦的記憶機制，模型的記憶被劃分為短期記憶和長期記憶。

2.2.1 短期記憶

短期記憶記錄了初步的提取經(jīng)驗。

如圖?所示，對于句子“博物館位于莫言的故鄉(xiāng)，高密東北鄉(xiāng)。”，模型提取的結(jié)果是(莫言, 出生地, 高密東北鄉(xiāng))和(博物館, 位于, 高密東北鄉(xiāng))。其中第一個關(guān)系三元組是正確的，但第二個由于博物館的指代不明確而被標(biāo)記為錯誤。短期記憶中，通過記錄這些正確與錯誤的結(jié)果，模型便能在后續(xù)的提取中將它們作為參考。這個過程相當(dāng)于從過往經(jīng)驗中汲取教訓(xùn)。具體來說，模型會分別在正確記憶和錯誤記憶中添加新的條目。

2.2.2 長期記憶

長期記憶涵蓋了對過往記憶的深入反思與更新，如圖?所示。

在長期記憶中，AgentRE能夠基于準(zhǔn)確的成果對長期記憶進行刷新，并針對不準(zhǔn)確的結(jié)果進行深思熟慮。

以圖?的示例為鑒，得到正確的提取成果后，AgentRE便將其關(guān)于莫言的記憶從“莫言，著名作家，1955年2月17日出生，本名管謨業(yè)”更新為“莫言，著名作家，1955年2月17日出生于高密東北鄉(xiāng)，本名管謨業(yè)”。對于錯誤的結(jié)果，AgentRE則進行反思。比如，面對一個錯誤的提取成果和相關(guān)的標(biāo)注準(zhǔn)則，它會產(chǎn)生反思文本“根據(jù)標(biāo)注準(zhǔn)則，不完整的實體，如博物館，本不應(yīng)被提取”。因此，當(dāng)接收到下一個輸入文本“以最有影響力的當(dāng)代作家和學(xué)者王先生命名的博物館……”，AgentRE便能借助先前的反思避免重蹈覆轍。

2.3 提取模塊

AgentRE中提取模塊借鑒了 ReAct 的互動式方法，通過多輪的思考、行動、觀察來推進，如圖(d)所描繪。

在此框架下，檢索與記憶模塊被視作智能體可調(diào)用的外部工具。智能體通過一系列API接口，輸入工具名稱和參數(shù)，隨后獲得反饋結(jié)果。這種設(shè)計賦予了智能體靈活調(diào)用工具、選擇工具種類及調(diào)用方式的能力。

以圖(d)中的句子為例：“5月9日，諾貝爾文學(xué)獎得主、作家莫言在北京發(fā)表了演講?！痹谑谆睾?#xff0c;智能體識別出可能的關(guān)系類型，隨后決定調(diào)用SearchAnnotation API來獲取相關(guān)資訊。進入第二輪，智能體運用SearchKG API檢索有關(guān)莫言的既有知識。最終，在搜集到充分的信息后，智能體執(zhí)行Finish操作，以產(chǎn)出提取成果。

在提取過程中，AgentRE并非總是遵循一連串完整的ReAct互動。會根據(jù)輸入文本的復(fù)雜度，靈活選擇最合適的提取策略。

比如，在直接提取中，預(yù)測的關(guān)系三元組直接從文本中導(dǎo)出；在分階段提取中，先篩選關(guān)系類型，再進行三元組的提取；或者采用思維鏈（CoT）提取，最終結(jié)果通過逐步推導(dǎo)生成。

2.4 小模型的精煉

在真實場景中，部署具備強大推理能力的LLMs智能體以完成信息提取任務(wù)，往往需要高昂的成本。

而相對較小的大型語言模型（SLLMs）在推理能力上通常表現(xiàn)遜色。為了彌補這一鴻溝，作者提出了一種蒸餾學(xué)習(xí)的方法，通過利用大型模型的歷史推理路徑來引導(dǎo)小模型的學(xué)習(xí)。

對不同類型問題采用多樣化的推理策略，可以顯著增強模型解決問題的適應(yīng)性。例如：

• 在關(guān)系提取（RE）任務(wù)中，文本中明確表述的直接關(guān)系可以直接推斷并生成結(jié)構(gòu)化輸出。
• 對于那些包含更復(fù)雜關(guān)系的句子，采用基于思維鏈（CoT）的推理方法，可以引導(dǎo)模型逐步逼近最終結(jié)果，減少錯誤。

AgentRE推理框架通過智能體有效地為不同情境定制了多樣化的推理方法。為了賦予SLLMs相似的能力，并簡化推理過程，建議從AgentRE的歷史推理路徑中提煉出更簡潔的推理邏輯，用以指導(dǎo)小模型的學(xué)習(xí)。

3. 效果評估

3.1 測評數(shù)據(jù)集

為驗證AgentRE的效能，在以下兩個數(shù)據(jù)集進行測試：

• DuIE：作為規(guī)模最大的中文關(guān)系抽取數(shù)據(jù)集，囊括了48類預(yù)設(shè)關(guān)系類型。覆蓋了傳統(tǒng)簡單的關(guān)系類型，也涵蓋了涉及眾多實體的復(fù)雜關(guān)系類型。該數(shù)據(jù)集的標(biāo)注文本源自百度百科、百度信息流及百度貼吧，共包含210,000句樣本與450,000個關(guān)系實例。
• SciERC：專為科學(xué)領(lǐng)域設(shè)計的英文命名實體識別與關(guān)系抽取數(shù)據(jù)集。其標(biāo)注數(shù)據(jù)源自Semantic Scholar Corpus，覆蓋了500篇科學(xué)文章摘要。SciERC數(shù)據(jù)集共標(biāo)注了8,089個實體和4,716個關(guān)系，平均每篇文檔包含9.4個關(guān)系。

3.2 測試基準(zhǔn)方法

將AgentRE與數(shù)種基于LLM的信息抽取模型/框架進行了對比：

• ChatIE：通過與ChatGPT的對話，提出了一種零次學(xué)習(xí)IE方法，將零次學(xué)習(xí)IE視為一種多輪問答過程。先識別潛在的關(guān)系類型，再基于這些類型抽取關(guān)系三元組。
• GPT-RE：在少量學(xué)習(xí)框架內(nèi)采用任務(wù)感知檢索模型，并整合CoT自動推理機制，以解決輸入-標(biāo)簽映射中的實例相關(guān)性和解釋問題。
• CodeKGC：運用Python類來表達關(guān)系的框架模式，通過推理依據(jù)增強信息抽取的準(zhǔn)確性。
• CodeIE：將IE任務(wù)轉(zhuǎn)化為代碼形式，借助LLMs的代碼推理能力。
• UIE：引入了一種結(jié)構(gòu)化編碼語言，用于文本到結(jié)構(gòu)化輸出的生成，適用于T5模型的預(yù)訓(xùn)練。
• USM：一個集結(jié)構(gòu)化與概念能力于一體的統(tǒng)一語義匹配框架，專為信息抽取設(shè)計，基于RoBERTa構(gòu)建。
• InstructUIE：在Flan-T5上實施基于指令的微調(diào)，以提升任務(wù)的泛化能力。

ChatIE和CodeKGC運用LLMs進行零次學(xué)習(xí)，而CodeIE、CodeKGC和GPT-RE則采用少量學(xué)習(xí)策略。UIE、USM和InstructUIE則采用監(jiān)督微調(diào)（SFT）。GPT-RE還在特定任務(wù)上對如text-davinci-003這樣的大型模型進行了微調(diào)，成本較高。

3.3 測評結(jié)果

實驗結(jié)果如上圖，僅采用F1分數(shù)作為評價標(biāo)準(zhǔn)。

對于比較基準(zhǔn)模型/框架，盡量引用原始發(fā)表數(shù)據(jù)，或通過復(fù)現(xiàn)其公布的模型與源代碼來獲取結(jié)果。

為了確保實驗比較的公正性，主要采用同一基礎(chǔ)大型語言模型，如gpt-3.5-turbo。對于那些采用不同基礎(chǔ)模型的方法，在表格中以斜體字呈現(xiàn)了它們的原始成果，并補充了使用gpt-3.5-turbo作為基礎(chǔ)模型所得到的結(jié)果。

上表根據(jù)三種不同的實驗范式劃分：

• 零樣本學(xué)習(xí)（ZFL）
• 少樣本學(xué)習(xí)（FSL）
• 有監(jiān)督的微調(diào)（SFT）

在SFT設(shè)置下，這些方法大致可分為三類，根據(jù)模型參數(shù)規(guī)模如下：

• 1）UIE使用的T5-v1.1-large和USM使用的RoBERTa-Large，參數(shù)規(guī)模分別為0.77B和0.35B。
• 2）InstructUIE使用的Flan-T5和AgentRE-SFT使用的Llama-2-7b，參數(shù)規(guī)模分別約為11B和7B。
• 3）GPT-RE-SFT使用的gpt-3.5-turbo，參數(shù)規(guī)模約為175B。

在ZSL組中，ChatIE-multi的表現(xiàn)超過了ChatIE-single，說明多輪對話的有效性。AgentRE-ZSL的卓越表現(xiàn)則反映了其在高效利用輔助信息方面的優(yōu)勢。

在FSL組中，CodeKGC-FSL超越了基于對話的ChatIE，而GPT-RE與其表現(xiàn)相匹配，突顯了結(jié)構(gòu)化推理和精確樣本檢索的優(yōu)勢。AgentRE-FSL顯著超越了當(dāng)前最佳模型，展示了其在利用標(biāo)記數(shù)據(jù)和輔助信息方面的卓優(yōu)勢。

在SFT設(shè)置下，對較小模型如UIE和USM進行微調(diào)，雖然優(yōu)于基線模型，但仍不及AgentRE-FSL。AgentRE-SFT在InstructUIE上的表現(xiàn)顯著更佳，證明了AgentRE中蒸餾學(xué)習(xí)的有效性。然而，GPT-RE-SFT在SciERC上取得了最佳性能，盡管由于其龐大的模型規(guī)模和基于text-davinci-003的API訓(xùn)練帶來了更高的訓(xùn)練成本。

3.4 消融實驗

消融實驗探究了AgentRE在不同配置下的表現(xiàn)：

• 缺少檢索模塊（AgentRE-w/oR）
• 缺少記憶模塊（AgentRE-w/oM）
• 兩者皆無（AgentRE-w/oRM）

依據(jù)上表，AgentRE-w/oRM的性能顯著不足，表明這兩個模塊的關(guān)鍵作用。

AgentRE-w/oR和AgentRE-w/oM相較于AgentRE-w/oRM展現(xiàn)出更好的效果，表明獨立引入記憶和檢索模塊的好處。

完整框架AgentRE整合了這兩個模塊，達到了最佳表現(xiàn)，證明結(jié)合檢索能力獲取相似樣本和利用記憶模塊優(yōu)化先前提取的協(xié)同效應(yīng)。

3.4.1 檢索模塊分析

影響檢索模塊效果的主要變量包括用于數(shù)據(jù)表示和檢索的模型，以及檢索過程中可用的內(nèi)容。

上表結(jié)果表明：無論是統(tǒng)計方法還是基于嵌入的方法，都顯著優(yōu)于隨機檢索。這表明，檢索與輸入文本更緊密相關(guān)的標(biāo)記樣本，對于輔助模型的決策過程、提高其抽取精度具有顯著效果。在評估的模型中，BGE在兩個數(shù)據(jù)集上均展現(xiàn)出最好的性能。

檢索內(nèi)容：在為檢索模塊選定了基礎(chǔ)模型之后，進一步探討不同類型可用信息對檢索的影響。

上表列出了實驗結(jié)果，其中“None”和“AgentRE-w/oM”分別代表沒有和僅有完整檢索模塊的變體。此外，“-samples”、“-doc”和“-KG”分別表示缺少標(biāo)記樣本檢索、注釋指南檢索和知識圖譜檢索組件的變體。

結(jié)果證實，忽略任何類型的信息都會降低AgentRE的性能，尤其是移除標(biāo)記樣本（-samples）對性能的影響最為顯著。

為探究記憶模塊對信息抽取效能的影響，分析了在DuIE數(shù)據(jù)集上，AgentRE在不同記憶配置下，隨著訓(xùn)練樣本數(shù)量增加的F1、召回率和精確度得分，如上圖所示，圖中的X軸代表訓(xùn)練樣本的數(shù)量。對比模型包括不包含記憶模塊的AgentRE-w/oM、搭載淺層記憶的AgentRE-wM），以及融合了淺層與深層記憶的AgentRE-wM+。相較于缺乏記憶功能的模型，這些搭載記憶模塊的模型能夠同時利用輸入樣本及歷史抽取記錄。

• 搭載記憶模塊的模型（AgentRE-wM和AgentRE-wM+）在所有評價指標(biāo)上均優(yōu)于無記憶模塊的版本，凸顯了記憶模塊在提升抽取精度方面的積極作用。
• 隨著數(shù)據(jù)量的增加，搭載記憶模塊的模型表現(xiàn)更佳，這表明了利用過往抽取經(jīng)驗進行動態(tài)學(xué)習(xí)的有效性。
• AgentRE-wM+在數(shù)據(jù)輸入增多時相較于AgentRE-wM展現(xiàn)出更卓越的性能，這暗示了一種全面的記憶方法，超越了單純的個體樣本追蹤，能夠進一步提升抽取效能。

---

代碼請訪問：https://github.com/Lightblues/AgentRE
論文地址： https://arxiv.org/pdf/2409.01854