Enhancing Robustness in Retrieval-Augmented Language Models

檢索增強(qiáng)型語(yǔ)言模型（RALMs）在大型語(yǔ)言模型的能力上取得了重大進(jìn)步，特別是在利用外部知識(shí)源減少事實(shí)性幻覺方面。然而，檢索到的信息的可靠性并不總是有保證的。檢索到無關(guān)數(shù)據(jù)可能導(dǎo)致回答偏離正軌，甚至可能使模型忽略其固有的知識(shí)，即使它擁有足夠的信息來回答查詢。此外，標(biāo)準(zhǔn)的RALMs通常難以評(píng)估它們是否擁有足夠的知識(shí)，包括內(nèi)在知識(shí)和檢索到的知識(shí)，以提供準(zhǔn)確的答案。在知識(shí)缺乏的情況下，這些系統(tǒng)理想情況下應(yīng)該以“未知”回應(yīng)無法回答的問題。為了應(yīng)對(duì)這些挑戰(zhàn)，我們引入了CHAIN-OF-NOTING（CON），這是一種新穎的方法，旨在提高RALMs在面對(duì)噪聲、無關(guān)文檔和未知場(chǎng)景時(shí)的魯棒性。CON的核心思想是為檢索到的文檔生成順序閱讀筆記，從而徹底評(píng)估它們與給定問題的相關(guān)性，并將這些信息整合以形成最終答案。我們使用ChatGPT為CON創(chuàng)建訓(xùn)練數(shù)據(jù)，隨后在LLaMa-2 7B模型上進(jìn)行了訓(xùn)練。我們?cè)谒膫€(gè)開放領(lǐng)域問答基準(zhǔn)上的實(shí)驗(yàn)表明，裝備了CON的RALMs顯著優(yōu)于標(biāo)準(zhǔn)的RALMs。特別是，CON在完全噪聲檢索文檔的情況下，EM分?jǐn)?shù)平均提高了+7.9，在實(shí)時(shí)問題超出預(yù)訓(xùn)練知識(shí)范圍的情況下的拒絕率提高了+10.5。

在這篇論文中，我們介紹了CHAIN-OF-NOTING（CON）框架，這是一種新穎的方法論，旨在增強(qiáng)RALMs的魯棒性。CON的核心概念圍繞著為每個(gè)檢索到的文檔生成順序閱讀筆記。這個(gè)過程允許深入評(píng)估文檔與提出問題的相關(guān)性，并幫助合成這些信息以構(gòu)建最終的答案。我們使用了ChatGPT來生成CON的初始訓(xùn)練數(shù)據(jù)，然后使用LLaMa-2 7B模型進(jìn)一步優(yōu)化這些數(shù)據(jù)。我們?cè)诟鞣N開放領(lǐng)域問答基準(zhǔn)上的測(cè)試表明，集成了CON的RALMs在性能上顯著超過了傳統(tǒng)的RALMs。