論文地址：https://arxiv.org/pdf/2311.09210.pdf

? ? ? ?檢索增強(qiáng)語(yǔ)言模型（RALM）已成為自然語(yǔ)言處理中一種強(qiáng)大的新范式。通過(guò)將大型預(yù)訓(xùn)練語(yǔ)言模型與外部知識(shí)檢索相結(jié)合，RALM可以減少事實(shí)錯(cuò)誤和幻覺(jué)，同時(shí)注入最新知識(shí)。然而，目前的RALM面臨以下幾個(gè)關(guān)鍵挑戰(zhàn)：

• 噪聲檢索（Noisy retrieval）：不相關(guān)的檢索文檔可能會(huì)誤導(dǎo)模型并導(dǎo)致錯(cuò)誤的響應(yīng)；
• 未知魯棒性（Unknown robustness）：RALM很難確定他們是否有足夠的知識(shí)來(lái)回答問(wèn)題，當(dāng)缺乏信息時(shí)，應(yīng)該默認(rèn)為“未知”；
• 缺乏透明度（Lack of transparency）：目前尚不清楚RALM是如何利用檢索到的信息來(lái)生成回應(yīng)的。

? ? ? ?為了解決這些問(wèn)題，騰訊人工智能實(shí)驗(yàn)室的研究人員在他們的論文《CHAIN-OF-NOTE: ENHANCING ROBUSTNESS IN RETRIEVAL-AUGMENTED LANGUAGE MODELS》中提出了一個(gè)新的框架，稱為筆記鏈（CON）。

一、筆記鏈概述

? ? ? ?筆記鏈的關(guān)鍵思想是通過(guò)對(duì)檢索到的每個(gè)文檔進(jìn)行總結(jié)和評(píng)估，讓模型生成閱讀筆記，然后再生成最終的回應(yīng)。此記錄過(guò)程可以增強(qiáng)模型的以下能力：

• 評(píng)估檢索到文檔的相關(guān)性
• 識(shí)別可靠信息與誤導(dǎo)信息
• 過(guò)濾掉無(wú)關(guān)或不可信的內(nèi)容
• 認(rèn)識(shí)到知識(shí)差距并回應(yīng)“未知”

具體而言，給定一個(gè)問(wèn)題和k個(gè)檢索到的文檔，“筆記鏈”會(huì)進(jìn)行如下操作：

• 筆記生成：為每個(gè)文檔創(chuàng)建1個(gè)閱讀筆記，然后分析其相關(guān)性；
• 綜合：整合筆記中的見(jiàn)解來(lái)確定最終回應(yīng)。

? ? ? ?這種方法反映了人類的推理——將問(wèn)題分解為更小的步驟。筆記為模型的思維過(guò)程提供了透明度，并提高了其噪聲和未知穩(wěn)健性。

二、閱讀筆記的類型

筆記鏈生成的筆記可分為三類：

1. 相關(guān)（Relevant）：文檔可以直接回答問(wèn)題，最終的回復(fù)只來(lái)自該文檔；

2. 無(wú)關(guān)但有用的上下文（Irrelevant but useful context）：文檔沒(méi)有回答問(wèn)題，但提供了有用的背景。該模型將其知識(shí)與上下文相結(jié)合可以推斷出答案；

3. 無(wú)關(guān)（Irrelevant）：文檔是無(wú)關(guān)的，模型缺乏知識(shí)來(lái)回答。默認(rèn)響應(yīng)為“未知”。

? ? ? ?該系統(tǒng)允許模型在直接檢索信息、進(jìn)行推斷和承認(rèn)其局限性之間取得平衡。

三、筆記示例

? ? ? ?筆記鏈（CON）框架根據(jù)檢索到的文檔與輸入問(wèn)題的相關(guān)性生成三種類型的閱讀筆記。以下是每種類型的筆記的示例：

3.1 類型1——直接回答：

輸入問(wèn)題：“法國(guó)首都是什么？”

檢索文件：一篇討論法國(guó)各個(gè)城市的文章。

生成的筆記：“正如文章中所提到的，法國(guó)的首都是巴黎?！?/p>

最后回應(yīng)：“法國(guó)首都是巴黎?！?/p>

3.2 類型2——有用上下文：

輸入問(wèn)題：“光合作用是如何工作的？”

檢索文件：解釋植物生物學(xué)基礎(chǔ)的文本，不直接涉及光合作用。

生成筆記：“雖然該文件沒(méi)有直接解釋光合作用，但它提供了有關(guān)植物生物學(xué)的有用信息，表明光合作用是植物將光轉(zhuǎn)化為能量的過(guò)程?！?/p>

最后回應(yīng)：“光合作用是植物將光轉(zhuǎn)化為能量的過(guò)程，包括葉綠素對(duì)光的吸收以及二氧化碳和水轉(zhuǎn)化為葡萄糖和氧氣。”

3.3 類型3——無(wú)關(guān)或未知：

輸入問(wèn)題：“量子計(jì)算的最新進(jìn)展是什么？”

檢索文檔：一篇討論經(jīng)典計(jì)算技術(shù)的文章。

生成的筆記：“檢索到的文檔不包括量子計(jì)算，而是專注于經(jīng)典計(jì)算技術(shù)。該模型缺乏足夠的信息來(lái)根據(jù)此文檔進(jìn)行回答。”

最終回應(yīng)：“未知，因?yàn)楝F(xiàn)有文件沒(méi)有提供量子計(jì)算最新進(jìn)展的相關(guān)信息。”

? ? ? ?這些例子說(shuō)明了CON框架如何處理不同類型的文檔：直接使用相關(guān)文檔中的信息，從上下文有用的文檔中推斷答案，并承認(rèn)知識(shí)或無(wú)關(guān)信息中的差距。

四、訓(xùn)練模型

為了訓(xùn)練一個(gè)模型來(lái)生成閱讀筆記，騰訊團(tuán)隊(duì)執(zhí)行如下步驟：

1. 使用ChatGPT為不同類型的筆記生成10K的訓(xùn)練數(shù)據(jù)；

2. 使用這些數(shù)據(jù)對(duì)LLaMa-2模型進(jìn)行微調(diào)，以增強(qiáng)模型記筆記的能力；

3. 使用加權(quán)損失函數(shù)策略，將訓(xùn)練重點(diǎn)放在最終答案的準(zhǔn)確性上。

五、評(píng)估筆記鏈

在幾個(gè)QA數(shù)據(jù)集的實(shí)驗(yàn)表明：

• 提高了QA性能：?從上表2可以看出，當(dāng)使用檢索到的文檔時(shí)，Chain of Note的平均得分比標(biāo)準(zhǔn)RALM高+1.97 EM；
• 增強(qiáng)了噪聲魯棒性：從上表3可以看出，在給定不相關(guān)的檢索文檔的情況下，與標(biāo)準(zhǔn)RALM相比，Chain of Note將EM得分提高了+7.9；
• 更好的未知穩(wěn)健性：從上表4可以看出，在域外問(wèn)題上，筆記鏈將拒絕率提高了+10.5。

六、個(gè)案研究

讓我們通過(guò)一個(gè)示例來(lái)了解筆記鏈的作用：

問(wèn)題：《死侍2》是什么時(shí)候上映的？

文檔1：討論2018年6月1日在美國(guó)上映的《死侍2》。

文檔2：提及《死侍2》于2018年5月10日首播，日期變更后于2018年8月18日上映。

標(biāo)準(zhǔn)RALM:2018年6月1日?

帶筆記鏈的RALM：

文檔1筆記：猜測(cè)《死侍2》于2018年6月1日在美國(guó)上映。

文檔2筆記：明確實(shí)際發(fā)布日期為2018年5月18日。

回復(fù)：根據(jù)Doc 2，答案為2018年5月18日?

? ? ? 這展示了筆記鏈如何仔細(xì)分析文件，并確定最相關(guān)、最可信的細(xì)節(jié)，以產(chǎn)生正確的回應(yīng)。

七、關(guān)鍵要點(diǎn)

• 筆記鏈增強(qiáng)了RALM對(duì)噪聲檢索和未知場(chǎng)景的魯棒性；
• 記筆記為RALM推理過(guò)程提供了可解釋性；
• 平衡檢索信息、進(jìn)行推斷和確認(rèn)限制；
• 分解復(fù)雜問(wèn)題的簡(jiǎn)單而有效的方法。

參考文獻(xiàn)：

[1]?https://ai.plainenglish.io/unlocking-the-black-box-how-chain-of-note-brings-transparency-to-retrieval-augmented-models-rag-ae1ebb007876

[2]?https://arxiv.org/pdf/2311.09210.pdf