情感四元組預測現有方法

閱讀本文之前我們默認你對情感分析有基本的認識。 如果沒有請閱讀文章(https://tech.tcl.com/post/646efb5b4ba0e7a6a2da6476)
情感分析四元組預測涉及四個情感元素: 方面術語a，意見術語(也叫觀點術語)o， 方面類別ac， 情感極性s

● 方面術語a/at: 一般是文本中明確出現的描述目標，如圖2“The pizza is delicious”句中的“pizza”就是方面術語。
特殊情況: 當目標被隱式表達(例如“It’s overestimated”)時，由于方面術語是代詞，這種情況我們一般將方面術語表示為一個名為“null”的特殊術語。(一般是主語)
● 觀點/意見詞o: 一般是(主語)表達自己對目標對象的意見的表達方式。如圖2“The pizza is delicious”句中的“delicious”就是觀點術語。(一般是賓語)
● 方面類別ac/c: 一個預定義好的類別集合， 一般用于對方面術語的分類， 該集合為每個特定的感興趣的領域預定義。例如，pizza 的方面類別是food。 (方面類別與方面術語是一對多的關系)
● 情緒極性s/p: 表示當前文本/情感元組的情感極性， 通常包括正面、負面和中性。

(圖1: 四元組任務介紹)

本文總共分為四個部分進行介紹:

1. 前言: 情感四元組任務的誕生
2. 基于bert分類的情感四元組預測
3. 基于生成式模型T5的情感四元組預測
4. 基于數據增強的情感四元組預測

前言: 四元組任務的誕生

\quad 方面級別情感分析四元組任務是由南京理工大學團隊2021年8月的論文(ACL 2021)《Aspect-Category-Opinion-Sentiment Quadruple Extraction with Implicit Aspects and Opinions》首先提出來的，這篇文章他主要的貢獻是對方面級情感分析四元組的任務定義， 以及提供了一個公開數據集ACOS，提出了多個基于bert處理四元組任務的baseline。
\quad 同年, 也就是2021年11月份 香港中文大學團隊發(fā)表的論文《Aspect Sentiment Quad Prediction as Paraphrase Generation》他們在論文中也提出了對方面級情感分析四元組的任務定義。同時也提出了公開數據集ASQP, 提出基于T5模型端到端的生成式模型PARAPHRASE。至此方面情感分析四元組算是正式誕生了!!!
\quad 這里多提一嘴，這兩篇論文相當于是情感四元組任務的開山之作，使用生成式的模型T5明顯由于bert分類的模型(差不多十個點)，生成式模型處理情感四元組在2021已經初見端倪。而且處理起來相對更簡單。生成式模型一般就是簡單粗暴?；赽ert方法來說一般更新穎一些。但是現在很多細粒度情感分析的SOTA已經被生成式模型屠榜了。

情感四元組任務的數據集

\quad 南京理工大學團隊提出的ACOS數據集。被標記為四個情感元素：方面術語、方面類別、情感極性和意見術語。該數據集包括用于餐廳領域的ACOS-Restaurant和用于筆記本電腦領域的ACOS-Laptop。 香港中文大學團隊提出的ASQP數據集。類似地標記了四個情感元素：方面術語、方面類別、情感極性和意見術語。該數據集是面向餐廳領域， 進一步劃分為兩個子數據集Rest15和Rest16。

\quad 圖2示出了ACOS和ASQP數據集的四元組各個情感極性所占的百分比分析。我們可以發(fā)現，積極的情感極性的四元組所占的比例總是最高的, 均超過60%，其次是情感極性為消極的四元組，占有率在25%以上。值得注意的是，具有中性極性的四元組不超過6%。數據比例值得進一步研究和完善。

ACOS數據集

\quad 在ACOS的兩個子數據集中，ACOS-Restaurant數據集由2284個文本句子和3661個情感四元組以及13個預定義的方面類別組成。ACOS-Laptop由4076個文本句子和5773個情感四元組以及121個已經定義的方面類別組成。

圖2: 數據集分析結果

ASQP數據集

\quad ASQP數據集包括兩個子數據集，rest 15和rest 16，其中rest 15包含1580個文本句子和2496個情感四元組，而rest 16包含2124個文本句子和3295個情感四元組。數據集rest 15和rest 16都包含13個已經定義的方面類別。如下圖所示

(圖3: ACOS和ASQP數據集中隱式術語的比例分析。EA、EO、IA和IO分別表示顯性方面、顯性觀點、隱性方面和隱性觀點。)

\quad 上圖報告了兩個數據集的進一步詳細統(tǒng)計信息。值得注意的是，ACOS數據集中超過33% 的情感四元組包含隱含的方面或觀點術語。與ACOS數據集不同，ASQP數據集的大部分都標記有顯式術語，并且沒有標記有隱式觀點術語的文本句子。
\quad 總結: 現實世界的文本評論中含有大量隱式方面或意見術語的問題。所以個人感覺ACOS數據集的數據分布比例更合理一些，由于ACOS數據還有大量的隱式術語， 模型處理起來比較困難，所以在一般模型在ACOS數據集的表現也會比在ASQP數據集中差一些。

四元組任務的現有方法簡單介紹及分類

研究背景

\quad 近年來，方面情緒四分量預測(ASQP)成為方面級情緒分析領域的熱門研究課題。早期研究利用預定義的模板將原句轉述成結構目標序列，該結構目標序列可被輕松解碼為情感四元組形式(方面類別、方面詞、觀點詞、情感極性)。模板以固定的順序包含四個元素。
四元組情感分析研究的發(fā)展到現在差不多也就兩三年的時間，期間出了許多不同的模型和方法
本文將這些方法分為三大類

1. 基于Bert分類的方法
2. 基于生成模型T5的方法
3. 數據增強方法

1. 基于bert分類

1.1 方法1: 《Aspect-Category-Opinion-Sentiment Quadruple Extraction with Implicit Aspects and Opinions》(ACL2021 .8)

論文地址: https://aclanthology.org/2021.acl-long.29.pdf
代碼: https://github.com/NUSTM/ACOS
論文詳細講解博客: https://blog.csdn.net/weixin_41799019/article/details/121247951

1.1.1 創(chuàng)新/貢獻

這個論文是四元組任務的開山之作。提出的方法相對來說并不是很新穎。
● 提出了新的任務-情感四元組預測任務(ACOS)
● 提出一個公開數據集ACOS, 而且該數據集與以前的情感分析數據集專注的點不同，以前的數據集忽略了文本中含有隱式術語的情況。
● 提出了四個簡單的baseline
貢獻總結: (提出數據集+四元組任務+4個baseline)

(圖4: Extract-Classify-ACOS 模型架構圖)

1.1.2 具體方法說明:

第一步執(zhí)行方面-意見共提取
第二步根據所提取的方面-意見對預測類別-情緒。

1. 我們首先在評論句子的開頭和結尾插入兩個[CLS]令牌，然后將轉換后的輸入饋送到BERT以獲得上下文感知令牌表示H
   \qquad \qquad \qquad \qquad \qquad $H=[h_{[CLS]},h_r,h[CLS]]$
   顯式方面意見協(xié)同提取基于具有修改的BIO標記方案的CRF層。
2. 我們進一步在[CLS]令牌上應用兩個二進制分類任務來預測是否存在隱式方面或隱式意見。因此，我們可以獲得潛在方面集合$S_A$、觀點集合$S_O$，并且對SA和SO執(zhí)行笛卡爾積以獲得候選方面-觀點對的集合：
   \qquad \qquad \qquad \qquad $SAO=a_1?o_1,....,a|A|?o_{|O|}$
3. 接下來，我們將類別情感分類建模為多個多類分類問題。具體來說，對于每個類別c，我們將每個方面-意見對a-o的平均向量連接起來，并將它們饋送到具有Softmax函數的全連接層，如下所示：
   \qquad \qquad \qquad \qquad $s^{aoc}=Softmax(W_{aoc}^t[u_a;u_o]+b_{a}oc)$
   其中 $s^{aos}$∈ {Positive，Negative，Neutral，Invalid}表示其在給定當前a-o和c的情況下的情緒，或者表示無效的四元組。

2. 基于生成模型T5

2.1 方法1: 《Aspect Sentiment Quad Prediction as Paraphrase Generation》(EMNLP 2021. 11)

論文地址: https://aclanthology.org/2021.emnlp-main.726.pdf
代碼: https://github.com/IsakZhang/ABSA-QUAD
論文詳細講解博客: https://blog.csdn.net/qq_43658933/article/details/123972826

2.1.1 創(chuàng)新/貢獻

● 研究了方面情感四元組預測(aspect sentiment quad prediction, ASQP)的新任務，引入兩個數據集餐廳領域的數據集，對每個樣本進行情感四元組標注，旨在分析更全面的方面層面情感信息。(定義任務，提出數據集)
● 我們提出將ASQP作為一個語義生成問題來處理，該問題能夠一次性預測情感四元組，并充分利用自然語言標簽的語義信息。
● 大量實驗表明，所提出的Paraphrase模型能夠有效地處理ASQP和其他ABSA任務，在所有情況下都優(yōu)于以往的最先進的模型。 實驗還表明，在統(tǒng)一的框架下，我們的釋義法自然地促進了相關任務間的知識轉移，在低資源環(huán)境下尤其有效。
貢獻總結: {提出數據集+提出新的范式(釋義范式)+四元組任務+實驗結果SOTA(當時的) }

(圖5: Paraphrase模型架構圖)

2.1.2 具體方法說明:

\quad 論文提出了一個釋義建模范式 (重點!!!) ，將ASQP任務轉化為釋義生成問題，并以序列到序列(Seq2Seq)的方式進行求解。如模型架構圖所示，給定一個句子文本句子X(The wine list yesterday was excellent, but the place is too tiny for me!)，我們的目標是生成一個目標序列Y(Drinks style is great because wine list is excellent [SSEP] ambience general is bad because place is too tiny)，其編碼器-解碼器模型為$M:x\to y$ ，其中y包含所有需要的情感四元組。然后從y中恢復情緒四元組$Q=(c,a,o,p)$進行預測。
\quad 這種方式通過$Y$將$Q$中的情感元素以自然語言的形式生成，可以充分利用$Q$中的情感元素的語義。另一方面，輸入和目標都是自然語言句子，可以自然地利用預先訓練好的生成模型中的豐富知識。
\qquad \qquad \qquad \qquad $P_c(c_i)is{P}_s(s_i)beacause{P}_a(a_i)is{P}_o(o_i)$
\quad 對于具有多個情感四元組的輸入句子$x$ ，我們首先將每個情感四元組線性化為一個自然句子，如上所述。然后將這些句子與一個特殊的符號$[SSEP]$連接起來，形成最終的目標序列$y$ ，其中$y$ 包含給定句子的所有情感四元組

2.1.3目標范式構建

情感極性映射
\quad 將 { P O S , N E U , N E G } \{POS, NEU,NEG\} {POS,NEU,NEG} 分別映射為 { g r e a t , o k , b a d } \{great, ok, bad\} {great,ok,bad} 這個映射操作是為了使得輸出更具有語義。換句話說也就是更通順。

\qquad \qquad \qquad \qquad $P_p(p)=?\begin{array}{l}great,ifp=POS\\ ok,ifp=NEU\\ bad,ifp=NEG\end{array}$

例如:
\qquad 輸入: The pasta yesterday was delicious!
\qquad 輸出1: Food quality is POS because pasta is delicious (不映射)
\qquad 輸出2: Food quality is great because pasta is delicious (映射)
對比輸出1和輸出2之后是不是明顯感覺輸出2更符合自然語言， 而輸出1的POS很突兀。所以論文中目標輸出的構建采用了映射為自然語義的輸出2格式。

隱式術語映射:

\quad 對于方面術語，如果沒有明確提及(隱式方面術語)，我們將其映射為隱式代詞，否則我們可以直接使用原始的自然語言形式:

\qquad \qquad \qquad \qquad $P_a(a)=\{\begin{array}{l}it,a\ne null\\ a,otherwise\end{array}$
這個上面的就情感極性映射同理 為了更符合自然語義的情況。從而方便模型訓練

2.2 方法2: 《Seq2Path: Generating Sentiment Tuples as Paths of a Tree》(EMNLP 2022.5)

Seq2Path: Generating Sentiment Tuples as Paths of a Tree
Seq2Path: 將情感元組生成為樹的路徑
論文地址: https://aclanthology.org/2022.findings-acl.174.pdf
代碼: 無開源代碼
論文詳細講解博客: https://blog.csdn.net/jst100/article/details/125546186

2.2.1 科學問題

\quad 作者認為最近的生成方法，如Seq2Seq模型，通過將輸出構造為情感四元組語言序列，獲得了良好的性能。但是，情感元組之間的順序并不自然存在，當前元組的生成不應以前一個元組為條件。(這不就是吐槽方法一的Paraphrase模型嗎哈哈哈)
作者提出了Paraphrase兩個主要缺點:
(1) 缺點1: 順序，即元組之間的順序并不自然存在。
案例:
\quad 輸入: The pasta yesterday was delicious!
\quad 輸出1: Food quality is great because pasta is delicious (c, s, a, o) (Paraphrase)
\quad 輸出2: pasta is delicious because Food quality is great (a, o, c, s)
存在問題: 為什么是第一種順序而不是第二種 這種順序是不是本身就不存在的
(2)缺點2: 依賴，(a2, o2, s2)的生成不應以(a1, o1, s1)為條件。
案例:
\quad 輸入: The wine list yesterday was excellent, but the place is too tiny for me!
\quad 輸出1: Drinks style is great because wine list is excellent [SSEP] ambience general is bad because place is too tiny (Paraphrase)
\quad 輸出2: ambience general is bad because place is too tiny [SSEP] Drinks style is great because wine list is excellent
\quad 模型生成 ambience general is bad because place is too tiny 這句話的之前就生成了Drinks style is great because wine list is excellent 這是不合理的， 各個情感元組之前應該是獨立的

2.2.2 創(chuàng)新/貢獻

1. 提出了Seq2Path模型，一個針對ABSA的并行生成框架。它生成情感元組作為樹的路徑。引入了一種鑒別令牌，實現了波束搜索中有效路徑的自動選擇。
2. 還給出了一些進一步的動機，并表明Seq2Path在學習token生成的精確條件轉移概率方面更好。
3. 為了進行推理，我們采用了帶約束解碼的波束搜索(Beam Search)。通過引入額外的鑒別標記和應用數據增強技術，可以自動選擇有效路徑。
4. 實驗結果，模型在AOPE、UABSA、ASTE、TASD、ACOS任務上4個廣泛使用的數據集Laptop14、Rest14、Rest15、Rest16上都達到了最好的效果。我們的方法在幾乎所有情況下都優(yōu)于基線模型的F1得分。(老套路， 一般都是最后吹一波實驗結果哈哈哈)
   貢獻總結: {波束搜索+約束解碼+數據增強+提出新的范式(樹結構)+實驗結果SOTA(當時的)}
   注意: 這篇論文提出的模型不僅僅可以解決四元組任務，也可以解決其他的ABSA子任務。
   吐槽一下， 不提供源代碼沒有開源精神
   樹結構的優(yōu)點
   \quad 作者認為樹是表示輸出的更好的選擇。樹可以表示"1到n"關系，在生成過程中，一個token后面可以跟著多個有效令牌。然而，自然語言序列只能表示"1對1"關系，在生成過程中，一個token后面緊跟一個token(貪婪)?？紤]圖6中的例子，兩個情緒元組(“rolls”,“big”, “positive”)和(“rolls”,“not good”, “negative”)共享相同的方面語"rolls"。因此，它是一個“1- n”關系，因為標記"big"和"not"是跟隨同一個標記。
   

(圖6: 樹結構)

2.2.3 具體方法:

(圖7: Seq2Path模型架構圖)$

任務定義
\quad Seq2Path，如圖7所示。編碼器-解碼器體系結構是一個普通的Seq2Seq體系結構，它們的區(qū)別描述如下。首先，我們將每個元組作為一個獨立的目標，訓練一個普通的Seq2Seq模型，計算平均損失。第二，token生成過程形成樹狀，應用波束搜索“并行”和“獨立”生成路徑;第三，輸入是文本，輸出是所有有效的情感元組的集合，帶有二進制鑒別標記 { t r u e , f a l s e } \{ true, false \} {true,false}。
\qquad \qquad \qquad \qquad \qquad \qquad \qquad $V\in true,false$。

Seq2Path模型中各個ABSA子任務對應的輸出范式， (從輸出范式可以看出，這里其實還增加的模型處理的復雜度將二元組抽取轉化為了三元組抽取， 將三元組抽取轉化為了四元組抽取， 四元組轉化為了五元組

\qquad \qquad \qquad \qquad \qquad
其中a, o, c, s分別表示方面，意見，方面類別，情感極性。

推理部分: Inference

\quad 波束搜索。在推理階段，我們將波束搜索(Srivastava et al.， 2014)應用于約束解碼。波束搜索算法根據條件概率在每一步對輸入序列選擇多個備選方案。在波束搜索中，我們輸出的top-k路徑的概率減小，表示路徑有效的可能性。
\qquad 在解碼過程中也應用了約束解碼。我們沒有搜索整個詞匯表，而是強制波束搜索只在允許的候選令牌中進行搜索。候選標記要么來自輸入文本，要么來自一些額外的特定于任務的標記。

修剪: Pruning

\quad 我們使用剪枝來過濾無效路徑。首先，我們消除了一些“重疊”的預測。如果波束搜索同時返回$“a,o,s,true”$ 和$“a,o,s,false”$，我們更喜歡序列概率高的那個。如果波束搜索同時返回$“a_1,o,s,true”$ 和$“a_2,o,s,true$ ，其中$a_1$和$a_2$重疊，那么我們也更喜歡具有更高序列概率的那個。然后，我們用具有區(qū)別性的令牌$v_i=“true”$輸出有效路徑，并過濾其他無效路徑。修剪重疊情況見附錄A.2。(總的來說就是模糊不定的時候我們就選高的那一個)

數據增強: Data augmentation

\quad 由于判別token不存在負樣本，為了更好的提高模型效果，論文對數據進行增強。為了自動選擇有效路徑，在每個負樣本的末尾添加一個有區(qū)別的標記 v = " false “。
負樣本生成D1， D2
\quad $D_1$: 為了提高模型對情感元組的匹配能力，我們對情感元組元素進行了隨機替換。例如，在圖1中，我們生成"rolls, wasn’t fresh, positive, false”，"sashimi, big, negative, false"等。(隨機替換， 就是將真實Label改成負樣本)
\quad $D_2$: 為了提高模型過濾大部分初代的能力，我們先對模型進行小epoch的訓練，然后用波束搜索生成負樣本。例如，在圖1中，我們生成“sashimi, n’t fresh, negative, false”等。(然后剛開始的epoch訓練出來的錯誤數據當作是負樣本)
\qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad $D_n=D_1\cup D_2$

然后擴增數據集是正樣本和負樣本的并集
\qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad $D=D_p\cup D_n$

$D_n$表示負樣本， $D_p$表示正樣本

2.3 方法3: 《Aspect-based Sentiment Analysis with Opinion Tree Generation》(IJCAI 2022.5)

論文地址: https://www.ijcai.org/proceedings/2022/0561.pdf
代碼: 無開源代碼
論文詳細講解博客: https://blog.csdn.net/qq_43658933/article/details/123972826

(圖8: opinionTree模型架構圖)

2.3.1 科學問題

\quad 現有的研究通常通過將復雜的結構預測任務分解為多個子任務來提取情感元素。盡管他們的有效性，這些方法忽略了ABSA問題的語義結構，并需要廣泛的特定任務的設計。在本研究中，我們引入了一種新的意見樹生成模型，旨在聯(lián)合檢測樹中所有的情感元素。意見樹可以揭示一個更全面、更完整的方面級情感結構。(之前的樹結構Seq2Path中一個情感四元組是一條路徑， 而這個樹結構有進一步的將方面意見樹分為左右子樹結構,相當于是兩條路徑)

2.3.2 創(chuàng)新/貢獻

1. 我們引入了一種新的意見樹生成模型，該模型旨在對給定的評論句子聯(lián)合檢測樹中所有的情感元素。
2. 設計了兩種有效形成意見樹結構的策略。首先，我們提出了一種約束解碼算法，該算法可以利用意見模式指導解碼過程。
3. 我們探索了多個訓練前任務的序列到序列聯(lián)合學習，以整合語法和語義特征，優(yōu)化意見樹生成性能。
4. 我們的模型在幾個基準數據集上顯著提高了最先進的性能。結果也表明，我們所提出的意見樹結構的效果，以及我們所提出的序列對序列的預訓練系統(tǒng)是必須達到較強的性能。
   貢獻總結: {約束解碼+語義特征+提出新的范式(樹結構)+實驗結果SOTA(當時的)}
   吐槽一下， 不提供源代碼沒有開源精神
   

(圖9: opinionTree樹結構樣例)

2.3.3 具體方法說明:

意見樹的構造和線性化
\quad 意見樹使用有對句子進行建模，對于一個句子，可以按照如圖9的方式將方面情感四元組（aspect sentiment quads）轉換為一棵意見樹。每個quad節(jié)點表示一個情感四元組，然后同時將方面術語和意見術語進一步進行細分。對于一棵意見樹，通過深度優(yōu)先遍歷即可將其轉化為 token 序列，并通過 “(” 和 “)” 來標識結構。
意見樹的生成
\quad 進一步利用樹生成模型，從評論句中生成線性化的意見樹。這個模型一般是編碼器-解碼器結構的模型這里采用的是T5模型。目標線性序列如下所示。
\qquad \qquad \qquad $$\begin{gathered} Linearization: \\ (Root，(Quad，(Design,surface)，(Positive,smooth))， \\ (Quad，(Software,apps)，(Negative,hard))) \end{gathered}$$
有意見約束的解碼
\qquad 約束解碼方法是根據當前生成的狀態(tài)動態(tài)地選擇和刪除候選詞匯表$V_t$。具體來說，每個生成步驟都有三種候選詞匯$V_t$:觀點術語:預定義了類別和極性的標簽名稱;提及意見串:方面詞和意見詞是原始輸入中的文本跨度;結構指示符:“(”和“)”用于組合意見圖式和提及意見串。(換句話說就行從特定的詞匯表里面選詞進行生成， 而不是從所有的vocab_size選token進行生成)
目標函數和訓練
\quad 我們的目標是最大化輸出線性化的意見樹XT概率，給出評論句XO。因此，我們優(yōu)化負對數似然損失函數:

\qquad \qquad\qquad\qquad\qquad\qquad $L=(?1/\tau ){\sum }_{(X_O,X_T)\in \tau }logp(X_T|X_O;\theta )$
其中$\theta$為模型參數，$(X_O,X_T)$為訓練集τ中的(句子，樹)對，則
\qquad \qquad\qquad\qquad $logp(X_T;X_O;\theta )={\sum }_{i=1}^{n}logp(x_T^i|x_T^1,x_T^2，\dots x_T^{i?1},X_O;\theta )$
其中$p(x_T^i|x_T^1,x_T^2，\dots x_T^{i?1},X_O;\theta )$由解碼器計算。

2.4 方法4: 《Generative Aspect-Based Sentiment Analysis with Contrastive Learning and Expressive Structure》(EMNLP 2022.12)

基于對比學習和表達結構的生成式方面情感分析
論文地址: https://aclanthology.org/2022.findings-emnlp.451.pdf
代碼: https://github.com/jpeper/GEN_SCL_NAT

2.4.1科學問題

\quad 生成式模型在基于方面的情感分析（ABSA）任務中表現出了令人印象深刻的效果，特別是在抽取方面-類別-意見-情感（ACOS）四元組的新興任務中。現有生成模型在隱式的情感表達方面遇到了困難，這種情感表達通常出現在諸如在線評論等內容中。如何有效的獲取情感標簽的信息仍然是一個挑戰(zhàn)。

2.4.2 創(chuàng)新/貢獻

1. 提出了一種有監(jiān)督的對比學習目標GENSCL，通過鼓勵模型產生可區(qū)分關鍵輸入屬性的輸入表示，例如情緒極性和隱含意見和方面的存在，來幫助情感四元組的預測。
2. 我們引入GEN-NAT，這是一種新的結構化生成格式，可以更好地適應自回歸編碼器-解碼器模型，以生成方式提取情感四元組。
3. 實驗結果表明，在三個ACOS數據集上，GEN_SCL_NAT獲得了最佳性能，平均1.48%的F1改進，在laptop- 14數據集上最高提高了1.73%。

貢獻總結: {對比學習+新范式NAT+好的實驗結果SOTA}

(圖10: GEN_SCL_NAT模型架構)

2.4.3 具體方法說明:

1.GEN-SCL監(jiān)督對比損失

\quad 提出了GEN-SCL，一個輔助的SCL目標，鼓勵編碼器-解碼器模型有區(qū)別地表示輸入的幾個關鍵特征，同時對ACOS情感四元組提取的下游生成任務進行微調。我們賦予模型學習實例級情感、方面和意見特征的表示。圖1顯示了每個特征的標簽集。有監(jiān)督的對比學習鼓勵模型最大限度地提高同標簽例子之間的表示相似度，而最小化不同標簽例子的表示相似度。

\qquad \qquad $L_i^c=(?1/|P(i)|){\sum }_{p\in P(i)}log((e^{sim(h_{c}ci,h_{cp})}/\tau )/({\sum }_{b\in B(i)e^{sim(h_{c}ci,h_{cp})}}/\tau ))$

2.整體損失

我們在現有的解碼器交叉熵損耗LCE上增加了我們的三個特性特定損耗:

\qquad \qquad $L_{total}=L_{CE}+{\alpha }_1{L}_{SCL\_sentiment}+{\alpha }_2{L}_{SCL\_sentiment}+{\alpha }_3{L}_{SCL\_sentiment}$

在${\alpha }_1$,${\alpha }_2$, ${\alpha }_3$表示監(jiān)督對比學習的(SCL)的溫度系數τ

3.GEN-NAT結構化生成格式

這里說明了以下幾點,

1. 會將“Laptop#Usability" 這種數據集中的標簽映射為 the laptop usability (這樣是為了更符合自然語言的句子)
2. 對于多輸出情況，每孟等(2020)，一致的排序在訓練中是有用的，即使預測無序集;在它們之后，我們使用“基于掃描”的排序，根據它們最后出現的顯式方面或意見術語輸出四倍。只有隱含方面和意見跨度的四元組以隨機順序最后生成。
3. 繼Mao等人(2022)之后，作者修正了情感四元組線性化格式，將情感四元組元素以自然自上而下的因果順序輸出:(c, a, o, s)?，F在，情緒預測取決于方面和意見輸出。在將預測映射回ACOS格式時，我們還使用“|”分割了一些四重組件，以減少解析歧義。
   我們的NAT生成格式如下:

\qquad \qquad\qquad \qquad\qquad $P_c(c_i)|the{P}_a(a_i)beacause{P}_o(o_i)|P_s(s_i)$

之前的Paraphrase模型的生成格式為:
\qquad \qquad\qquad \qquad\qquad $P_c(c_i)is{P}_s(s_i)beacause{P}_a(a_i)is{P}_o(o_i)$

3. 基于數據增強方法

3.1 方法1: 《Improving Aspect Sentiment Quad Prediction via Template-Order Data Augmentation》(EMNLP 2022)

基于模板順序數據增廣的方向情感四元預測算法
論文地址: https://aclanthology.org/2022.emnlp-main.538.pdf
代碼: https://github.com/hmt2014/AspectQuad

3.1.1 科學問題

\quad 現有的大部分模型的生成范式都是以固定的順序包含四個元素， 這種解決方案與ASQP任務的無序性相矛盾，因為只要正確提取四元組，就不需要修正模板順序。在這種啟發(fā)下，我們研究了情感四元組順序的作用，發(fā)現一些順序可以幫助生成模型獲得更好的性能。假設不同的階段(任務)提供了情感四元組的不同觀點。(也就是說在不同的數據集的數據集下四元組c, a, o, s的位置也是很重要的)

3.1.2 創(chuàng)新/貢獻

1. 我們研究了模板訂單在ASQP任務中的作用，表明一些訂單的性能更好。據我們所知，這項工作是第一次嘗試從模板訂單的角度來研究ASQP。
2. 我們提出用預先訓練好的語言模型計算最小熵來選擇合適的模板順序。所選的順序與它們的地面真實表現大致一致。
3. 基于四元組的無序性，進一步結合多個合適模板作為數據增強，改進ASQP任務。實驗結果表明，我們的方法優(yōu)于最先進的方法，在低資源環(huán)境下有顯著的收益。
   貢獻總結: {順序的重要性+數據增強+低資源+實驗結果SOTA(當時的)}

3.1.3 初步實驗: 順序的重要性

\quad 進行了預實驗。通過只使用逗號連接，四個元素也可以轉換為目標序列。與Eq.(1)相比，可以更靈活的切換順序，一共是4個!= 24種排列。在推理過程中，四胞胎可以用逗號分隔。

\qquad \qquad\qquad \qquad

\quad 固定一個位置(ac)，那么其他三個元組可以有六種組合，下圖顯示了每個元素的六個模板(3!)的平均F1分數?？梢钥吹?#xff0c;四種元素的表現隨著位置的變化呈現出不同的趨勢。當$X_{ac}$和$X_{sp}$逐漸向后放置時，它們的F1分數都會下降。與其他三種元素相比，$X_{at}$在不同位置的穩(wěn)定性更強，而xot在第一個位置的性能最差。除位置外，還可以觀察到$X_{ac}$和$X_{sp}$的F1得分高于$X_{at}$和$X_{ot}$，表現出四個要素的難度程度不同。

\qquad \qquad\qquad

3.1.4 具體方法說明:

\quad 如前面所分析的，模板順序影響四元組及其四元組的性能。假設不同的情況提供了情感四元組的不同觀點。我們認為，組合多個模板順序可以通過數據增強來改善ASQP任務。然而，使用全部24種排列顯著增加了訓練時間，效率低下。因此，我們提出了一種利用預訓練語言模型(即T5)的性質來選擇合適的模板順序的簡單方法。然后對于ASQP任務，這些選擇的順序被用來構建目標序列y來微調T5模型。

我們的方法由兩個階段組成，下面將詳細介紹這兩個階段。

1.選擇模板順序

\quad 給定一個輸入x和它的情感四元組，我們用多階映射函數$O_i$構造所有24個目標序列，其中i∈[1,24]。下面顯示了一個$O_i$示例。

\qquad \qquad\qquad \qquad\qquad\qquad $O_i(x_{ac},x_{at},x_{ot},x_{sp})=x_{at}{x}_{ac}{x}_{ot}{x}_{sp}$

\quad 其中，四個值用一個簡單的空格連接起來，沒有任何其他標記，比如逗號，按照特定的順序$O_i$。通過這種方式，我們可以減少嘈雜令牌的影響，但更多地關注順序。如果句子中有多個四聯(lián)體，則引入特殊符號[SSEP]。給定多個模板階，對輸入x構造多個目標序列$y_{oi}$。
然后我們用預先訓練的T5計算的熵來評估這些目標序列。在這里，$y_{oi}$也被作為教師強迫輸入到解碼器(Williams和Zipser, 1989)。利用解碼器的輸出logit pθ計算熵。

\qquad \qquad\qquad \qquad\qquad\qquad $\epsilon (yoi|x)=?1/n{\sum }_n\sum |v|p\theta logp\theta$

式中，$n$為目標序列長度，$|V|$為詞匯集大小。

\quad 給定整個訓練集T，通過構造模板順序，我們得到每個實例的(x， {$y_{oi}$})。具體來說，我們設計了以下兩種模板選擇策略。

數據集級順序(DLO)

\quad 為了選擇數據集級別的訂單，我們在整個訓練集中為每個訂單計算一個分數。
\qquad \qquad\qquad \qquad\qquad\qquad $S{o}_i=(?1/|T|){\sum }_T\epsilon (yoi|x)$
\quad 其中$S_{oi}$為模板階$O_i$的所有實例的平均熵。然后通過對這些分數進行排序，選擇值較小的模板訂單。

實例級順序(ILO)

\quad 不同的實例有不同的上下文和語義，并且傾向于有自己合適的模板順序。因此，我們還設計在實例級選擇訂單。同樣，每個小值實例的模板順序也根據式(5)進行選擇。

\qquad \qquad\qquad \qquad\qquad\qquad $\epsilon (yoi|x)=?1/n{\sum }_n\sum |v|p\theta logp\theta$

2.微調選擇好的順序

\quad 多個模板訂單提供了情感四元組的各種視圖。然而，要聯(lián)合訓練他們，就會出現一個問題。如果這四個值用逗號或空格連接，則在推斷期間無法識別值類型。例如，當輸出序列“食品質量，意大利面，美味，偉大”恢復到四聯(lián)體時，機器不知道元素類型。因此，為了解決這個問題，我們設計了特殊的標記來表示信息的結構(Paolini et al.， 2021)。xac、xat、xot、xsp的標記分別為[AC]、[AT]、[OT]、[SP]。給定一個順序，構造目標序列:

\qquad \qquad\qquad \qquad\qquad\; $$\begin{gathered} y_{oi}=O_i([AC]x_{ac},[AT]x_{at},[OT]x_{ot},[SP]x_{sp}) \\ =[AT]x_{at},[AC]x_{ac},[SP]x_{sp},[OT]x_{ot} \end{gathered}$$
\quad 現在我們可以同時訓練多個訂單，同時這些特殊標記在推理過程中可以恢復四聯(lián)體。請注意，以前的數據增強方法通常為一個標簽設計多個輸入，如單詞刪除和替換(Gao et al.， 2021)，從而獲得多個輸入句子。而我們的方法為一個輸入序列構造多個標簽。當使用基于生成的模型時，這得益于ASQP任務的屬性。

參考文獻:
[1] Cai H, Xia R, Yu J. Aspect-category-opinion-sentiment quadruple extraction with implicit aspects and opinions[C]//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021: 340-350.
[2] Zhang W, Deng Y, Li X, et al. Aspect sentiment quad prediction as paraphrase generation[J]. arXiv preprint arXiv:2110.00796, 2021.
[3]Mao Y, Shen Y, Yang J, et al. Seq2path: Generating sentiment tuples as paths of a tree[C]//Findings of the Association for Computational Linguistics: ACL 2022. 2022: 2215-2225.
[4] Bao X, Wang Z, Jiang X, et al. Aspect-based sentiment analysis with opinion tree generation[C]//IJCAI. 2022, 2022: 4044-4050.
[5] Peper J J, Wang L. Generative Aspect-Based Sentiment Analysis with Contrastive Learning and Expressive Structure[J]. arXiv preprint arXiv:2211.07743, 2022. MLA
[6] Hu M, Wu Y, Gao H, et al. Improving aspect sentiment quad prediction via template-order data augmentation[J]. arXiv preprint arXiv:2210.10291, 2022.