【大語言模型】ACL2024論文-06 探索思維鏈COT在多模態(tài)隱喻檢測中的應用

---

目錄

---

探索思維鏈（Chain-of-Thought）在多模態(tài)隱喻檢測中的應用

摘要

本文探討了在廣告和互聯(lián)網(wǎng)迷因（meme）中常見的隱喻檢測問題。由于互聯(lián)網(wǎng)迷因的自由形式，導致缺乏高質(zhì)量的文本數(shù)據(jù)。隱喻檢測需要對文本和視覺元素進行深入解讀，并需要大量的常識知識，這對語言模型構成了挑戰(zhàn)。為了應對這些挑戰(zhàn)，作者提出了一個緊湊的框架C4MMD，該框架利用思維鏈（Chain-of-Thought, CoT）方法進行多模態(tài)隱喻檢測。具體來說，該方法設計了一個三步過程，靈感來自CoT，從多模態(tài)大型語言模型（MLLMs）中提取并整合知識到較小的模型中。此外，作者還開發(fā)了一個模態(tài)融合架構，將大模型中的知識轉化為隱喻特征，并輔以輔助任務以提高模型性能。在MET-MEME數(shù)據(jù)集上的實驗結果表明，該方法不僅有效增強了小型模型的隱喻檢測能力，而且超越了現(xiàn)有模型。據(jù)作者所知，這是首次系統(tǒng)性地利用MLLMs進行隱喻檢測任務的研究。該方法的代碼已在GitHub上公開。

“Metaphors” 在中文中通常被翻譯為“隱喻”或“暗喻”。在文學和語言學中，隱喻是一種比喻，通過將一件事物說成另一件事物來暗示它們之間的相似性，而不是直接比較。例如，在句子“時間是金錢”中，“時間”被隱喻性地描述為“金錢”，強調(diào)了時間的寶貴和有限性。

“Memes” 在中文中通常被翻譯為“迷因”或“模因”。這個詞匯最初由生物學家理查德·道金斯（Richard Dawkins）在其1976年的著作《自私的基因》中提出，用于描述文化信息或行為模式的傳播單位，類似于生物基因在生物進化中的角色。在互聯(lián)網(wǎng)文化中，“迷因”通常指那些迅速在網(wǎng)絡用戶之間傳播的圖片、視頻、文字等內(nèi)容，它們往往帶有幽默或諷刺的元素，能夠引發(fā)共鳴并被廣泛復制和分享。

研究背景

隱喻在日常生活中的表達和寫作中非常普遍，對自然語言處理（NLP）中的下游任務，如語義理解、情感分析等有著廣泛的影響。隨著社交媒體的興起，多模態(tài)隱喻引起了人們的興趣。多模態(tài)隱喻檢測的主要挑戰(zhàn)在于多模態(tài)隱喻的復雜性和多樣性。與單一模態(tài)檢測相比，多模態(tài)隱喻檢測不僅要在句子中發(fā)現(xiàn)隱喻，還要將其歸類為圖像主導、文本主導或互補型。第二個主要挑戰(zhàn)來自于文本內(nèi)容的質(zhì)量差，這些文本主要來源于社交媒體上的廣告和迷因。最近的努力使用OCR技術提取圖像中的文本，但僅依賴OCR將它們轉換為平行文本會導致文本位置信息的丟失。

問題與挑戰(zhàn)

多模態(tài)隱喻檢測面臨的主要問題和挑戰(zhàn)包括：

1. 多模態(tài)隱喻的復雜性和多樣性：需要識別和分類圖像和文本中的隱喻，以及它們之間的相互作用。
2. 文本內(nèi)容質(zhì)量差：社交媒體上的廣告和迷因中的文本內(nèi)容質(zhì)量參差不齊，導致隱喻檢測困難。
3. 位置信息丟失：使用OCR技術提取文本時，可能會丟失文本的位置信息，這對于理解隱喻至關重要。

如何解決

為了解決上述挑戰(zhàn)，作者提出了以下解決方案：

1. 利用MLLMs的豐富世界知識和上下文理解能力：通過LLMs生成補充信息，而不是對它們進行微調(diào)。
2. 設計三步CoT方法：逐步獲取MLLM的信息，描述圖像、分析文本以及整合兩種模態(tài)的信息。
3. 模態(tài)融合架構：將大模型中的知識轉化為隱喻特征，并輔以輔助任務以提高模型性能。

創(chuàng)新點

本文的創(chuàng)新點包括：

1. 首次系統(tǒng)性地利用MLLMs進行隱喻檢測任務：這是首次將MLLMs應用于隱喻檢測，開辟了新的研究方向。
2. 三步CoT方法：通過設計三步CoT方法，逐步提取和整合多模態(tài)信息，提高了模型對隱喻的理解能力。
3. 模態(tài)融合架構：開發(fā)了一種新的模態(tài)融合架構，將大模型的知識轉化為隱喻特征，提高了檢測的準確性。

算法模型

C4MMD框架由以下主要組件構成：

1. 知識總結模塊：通過三步CoT提示，從MLLM中提取額外的文本信息。
2. 下游多模態(tài)融合結構：將補充信息與原始文本合并，通過特定編碼器處理這些輸入，以獲得特征向量。
3. 模態(tài)特定編碼：使用圖像編碼器和文本編碼器獲得圖像和文本的向量化編碼。
4. 模態(tài)融合：將不同模態(tài)的向量尺寸調(diào)整一致，然后進行融合，以獲得最終的融合向量表示。
5. 分類器：使用跨模態(tài)向量進行隱喻分類，并使用兩個單獨的分類器對圖像和文本中的隱喻特征進行分類。
   

C4MMD框架的核心在于利用多模態(tài)大型語言模型（MLLMs）來增強小型模型的隱喻檢測能力，C4MMD框架中關鍵組件包括：

1. 知識總結模塊（Knowledge Summarization Module）

該模塊通過三步CoT提示從MLLM中提取額外的文本信息。這個過程包括以下三個步驟：

• 第一步（STEP1）：忽略圖像中的文本，僅描述圖像內(nèi)容。這一步的目的是讓模型集中于理解圖像中的視覺元素。
• 第二步（STEP2）：分析文本的含義，注意同音異義詞和雙關語，并解釋它們。這一步的目的是讓模型集中于理解文本的深層含義。
• 第三步（STEP3）：結合前兩步的結果，整合圖像和文本特征，以獲得更深層次的跨模態(tài)交互信息。

2. 下游多模態(tài)融合結構（Downstream Multi-modal Fusion Structure）

在獲取MLLM生成的額外模態(tài)信息后，設計的下游結構旨在促進模態(tài)間的整合，并有效利用這些額外信息來增強隱喻檢測能力。

3. 模態(tài)特定編碼（Modality-Specific Encoding）

• 圖像編碼器（Image Encoder）：使用ViT-Encoder對輸入圖像進行編碼，得到圖像的特征向量。
• 文本編碼器（Text Encoder）：使用XLMR-Encoder對輸入文本和MLLM生成的額外文本信息進行編碼。為了區(qū)分不同模態(tài)的文本，采用了類似于BERT的段編碼方法，為每個模態(tài)的文本添加額外的可學習參數(shù)向量。

4. 模態(tài)融合（Modality Fusion）

在融合之前，需要確保兩個編碼器的向量尺寸一致。對于文本模態(tài)，計算所有詞向量的平均值作為整個句子的向量表示。對于視覺模態(tài)，使用CLS標記的向量作為整個圖像的表示。然后，使用線性層和GeLU激活函數(shù)將視覺模態(tài)的向量映射到與文本模態(tài)相同的特征空間。

最終，將兩個模態(tài)的向量進行拼接，形成最終的融合向量表示，用于后續(xù)的分類任務。

5. 分類器（Classifier）

• 隱喻分類：使用一個線性層和softmax分類器對融合后的跨模態(tài)向量進行隱喻分類。
• 圖像主導和文本主導分類：使用兩個單獨的分類器來識別圖像主導和文本主導的隱喻特征，以減少最終分類器的分類復雜性。

算法模型的關鍵特點

• 跨模態(tài)交互：通過三步CoT方法，模型能夠理解圖像和文本之間的深層次交互，這對于隱喻檢測至關重要。
• 模態(tài)融合：通過特定的編碼器和融合策略，模型能夠有效地整合來自不同模態(tài)的信息，提高隱喻檢測的準確性。
• 輔助任務：通過設計輔助任務，模型能夠在檢測圖像和文本中的隱喻特征之前，先進行細粒度的分類，這有助于提高最終分類器的性能。

C4MMD框架通過這些精心設計的組件和策略，實現(xiàn)了對多模態(tài)隱喻的有效檢測，展現(xiàn)了在處理復雜語言和視覺挑戰(zhàn)方面的潛力。

實驗效果

在MET-MEME數(shù)據(jù)集上的實驗結果表明，C4MMD方法在多模態(tài)隱喻檢測任務上取得了優(yōu)異的性能。以下是一些重要的數(shù)據(jù)和結論：

• 主要分類結果：C4MMD在多模態(tài)隱喻檢測任務上取得了87.70%的準確率，83.33%的精確率，81.58%的召回率，以及82.44%的F1分數(shù)。
• 消融研究：消融研究表明，模型的融合結構和CoT生成方法對于提高性能至關重要。
• 不同語言和視覺模型組合的影響：ViT和XLM-R的組合在模態(tài)融合中表現(xiàn)最佳。
• 模型大小的影響：隨著模型大小的增加，特別是當模型最初較小時，性能提升越來越明顯。
  
  

推薦閱讀指數(shù)

4.5

---

后記

如果您對我的博客內(nèi)容感興趣，歡迎三連擊(點贊、收藏、關注和評論)，我將持續(xù)為您帶來計算機人工智能前沿技術(尤其是AI相關的大語言模型，深度學習和計算機視覺相關方向)最新學術論文及工程實踐方面的內(nèi)容分享，助力您更快更準更系統(tǒng)地了解 AI前沿技術。