GPT-4V with Emotion:A Zero-shot Benchmark forMultimodal Emotion Understanding

GPT-4V情感:多模態(tài)情感理解的zero-shot基準

1.摘要

最近，GPT-4視覺系統(tǒng)(GPT-4V)在各種多模態(tài)任務中表現(xiàn)出非凡的性能。然而，它在情感識別方面的功效仍然是個問題。本文定量評估了GPT-4V在多通道情感理解方面的能力，包括面部情感識別、視覺情感分析、微表情識別、動態(tài)面部情感識別和多通道情感識別等任務。我們的實驗表明，GPT-4V表現(xiàn)出令人印象深刻的多模態(tài)和時間理解能力，甚至在某些任務中超過了監(jiān)督系統(tǒng)。盡管取得了這些成就，GPT-4V目前是為一般領(lǐng)域定制的。它在需要專業(yè)知識的微表情識別中表現(xiàn)不佳。本文的主要目的是呈現(xiàn)GPT-4V在情緒理解方面的量化結(jié)果，并為未來的研究建立一個zero-shot基準。代碼和評測結(jié)果可在:https://github . com/zero qiaoba/GPT 4v-emotion獲取。

GPT-4V:

????????雖然在多模態(tài)任務上表現(xiàn)良好，但情感識別方面仍有提升潛力。

????????GPT-4V的優(yōu)點：多模態(tài)和時間理解能力優(yōu)秀，甚至在某些任務中超過了監(jiān)督系統(tǒng)

????????GPT-4V的不足：在需要專業(yè)知識的微表情識別中表現(xiàn)不佳

多模態(tài)情感理解任務：?

????????面部情感識別、視覺情感分析、微表情識別、動態(tài)面部情感識別和多通道情感識別等

本文的目的：呈現(xiàn)GPT-4V在情緒理解方面的量化結(jié)果，并為未來的研究建立一個zero-shot基準。

zero-shot就可以被定義為：利用訓練集數(shù)據(jù)訓練模型，使得模型能夠?qū)y試集的對象進行分類，但是訓練集類別和測試集類別之間沒有交集；期間需要借助類別的描述，來建立訓練集和測試集之間的聯(lián)系，從而使得模型有效。【摘自：Zero-shot（零次學習）簡介-CSDN博客】

2.背景及研究意義

• 多模態(tài)情感理解任務旨在整合多模態(tài)信息(即圖像、視頻、音頻和文本)來理解情緒。
• 為每項任務選擇有限數(shù)量的樣本，對GPT-4V的性能進行定性評估，當前GPT-4V請求限制100+左右。
• 目前的GPT-4V只支持圖像和文本，對于音頻，我們試圖轉(zhuǎn)換成梅爾頻譜圖，以捕捉副語言信息。然而，GPT-4V拒絕承認梅爾光譜圖。因此，我們的評估主要集中在圖像、視頻和文本上。

創(chuàng)新性:

????????這是第一個定量評估GPT-4V在情緒任務中表現(xiàn)的工作。我們希望我們的工作可以為后續(xù)研究建立一個zero-shot基準，并啟發(fā)情感計算的未來方向。

評估對象：

????????GPT 4 API(GPT-4-1106-preview)

GPT-4對請求有三個限制:

????????每分鐘令牌數(shù)(TPM)、每分鐘請求數(shù)(RPM)和每天請求數(shù)(RPD)

????????為了滿足RPM和RPD，我們遵循以前的工作[7]并采用批量輸入。
?

面部表情識別為例：

提示:請扮演一個面部表情分類專家的角色。我們提供20張圖片。

請忽略說話者的身份，專注于面部表情。

對于每幅圖像，請根據(jù)與輸入的相似性從高到低對提供的類別進行排序。

以下是可選的類別:[快樂、悲傷、憤怒、恐懼、厭惡、驚訝、中性]。

每個圖像的輸出格式應該是{'name ':，' result ':}。

Prompt:

Please play the role of a facial expression classification expert.We provide 20 images.

Please ignore the speaker’s identity and focus on the facial expression.

For each image,please sort the provided categories from high to low according to the similarity with the input.

Here are the optional categories:[happy,sad,angry,fearful,disgusted,surprised,neutral].

The output format should be {’name’:,’result’:}for each image.

總結(jié)：

? ? ? ? 實驗專注于：圖像、視頻和文本模態(tài)

????????評估的模型：GPT 4 API(GPT-4-1106-preview)，為了滿足RPM和RPD，我們遵循以前的工作[7]并采用批量輸入。

????????創(chuàng)新性:第一個定量評估GPT-4V在情緒任務中表現(xiàn)的工作。目標為后續(xù)研究建立一個zero-shot基準，并啟發(fā)情感計算的未來方向。?

3.實驗和結(jié)果

在本文中，我們評估了GPT-4V在五個任務中的zero-shot性能

表1 2總結(jié)了數(shù)據(jù)集統(tǒng)計和標注方法:

• 表1：五類基本情感理解任務及數(shù)據(jù)集信息：（面部情感識別、視覺情感分析、微表情識別、動態(tài)面部情感識別和多通道情感識別）

????????面部情緒識別識別：對于視頻的處理：提取每個序列的最后三幀用于情感識別。

????????????????????????????????????????提取關(guān)鍵幀，包括各種頭部姿勢、遮擋和光照

????????視覺情感分析：旨在識別由圖像引起的情感，而不要求圖像以人為中心

????????????????????????????????為了與之前的作品進行公平的比較，我們將這些標簽重新映射為積極和消極的情緒。

????????微表情識別：微表情持續(xù)時間短，強度低，并且出現(xiàn)在稀疏的面部動作單元中[28]

??????????????????????????????使用apex框架評估GPT-4V對微表情的識別

????????動態(tài)面部情緒識別：將分析擴展到圖像序列或視頻。需要進一步利用時態(tài)信息。

????????????????????????????????????????評價指標包括未加權(quán)平均召回率(UAR)和加權(quán)平均召回率(WAR)

????????多模態(tài)情緒識別情緒：整合不同來源的信息

????????????????????????????????????????????本文主要研究否定/肯定分類任務。分別為< 0分和> 0分分配正類和負類。

• 表2：數(shù)據(jù)集及采用的情感標簽信息。

對于視覺情感分析(見表4)，GPT-4V優(yōu)于監(jiān)督系統(tǒng)，表明其在從視覺內(nèi)容理解情感方面的強大能力。然而，GPT-4V在微表情識別方面表現(xiàn)不佳(見表5)，這表明GPT-4V目前用于一般領(lǐng)域。它不適合需要專業(yè)知識的領(lǐng)域

表6-7顯示了GPT-4V和監(jiān)督系統(tǒng)在視頻理解方面的差距。值得注意的是，由于每個視頻只采樣三幀，一些關(guān)鍵幀可能會被忽略，從而導致性能受限。

對色彩空間的穩(wěn)健性在表3中，GPT-4V在CK+和FERPlus上表現(xiàn)稍差。由于兩個數(shù)據(jù)集都有灰度圖像，一個合理的假設出現(xiàn)了:當面對灰度圖像時，GPT-4V的表現(xiàn)會更差嗎？為了探索這種可能性，我們將RAF-DB中的所有RGB圖像轉(zhuǎn)換為灰度圖像，并將結(jié)果報告在表8中。有趣的是，GPT-4V在不同的顏色空間表現(xiàn)出非常相似的性能。這種對色彩空間變化的彈性表明GPT-4V在這方面具有內(nèi)在的魯棒性。

時間理解能力為了降低評估成本，我們對每個視頻統(tǒng)一采樣三幀。在本節(jié)中，我們將進一步研究不同采樣數(shù)的影響。如表9所示，當采樣幀數(shù)從3減少到2時，性能明顯下降。這突出了在未來工作中增加采樣幀數(shù)的重要性。

多模態(tài)情感理解：表10報告了三個基準數(shù)據(jù)集上的單峰和多峰結(jié)果。

觀察到多模態(tài)結(jié)果優(yōu)于單峰結(jié)果，證明了GPT-4V整合和利用多模態(tài)信息的能力。但是對于CMU-MOSI，我們在多模態(tài)結(jié)果中觀察到輕微的性能下降。這個數(shù)據(jù)集主要依賴于詞匯信息[77]，視覺信息的加入可能會給GPT-4V理解情緒帶來一些困惑。

總結(jié)：

1. 對于視覺情感分析，GPT-4V優(yōu)于監(jiān)督系統(tǒng)，其在從視覺內(nèi)容理解情感方面的強大能力。
2. GPT-4V在微表情識別方面表現(xiàn)不佳，GPT-4V目前用于一般領(lǐng)域。不適合需要專業(yè)知識的領(lǐng)域
3. GPT-4V和監(jiān)督系統(tǒng)在視頻理解方面的差距。由于每個視頻只采樣三幀，一些關(guān)鍵幀可能會被忽略，從而導致性能受限。
4. GPT-4V在不同的顏色空間表現(xiàn)出非常相似的性能。這種對色彩空間變化的彈性表明GPT-4V在這方面具有內(nèi)在的魯棒性。
5. 多模態(tài)結(jié)果優(yōu)于單峰結(jié)果

4.結(jié)論

本文做了什么：提供了對GPT-4V在五個不同任務中的多模態(tài)情緒理解性能的評估

結(jié)論是什么：GPT-4V在理解視覺內(nèi)容的情感方面有很強的能力，甚至超過了監(jiān)督系統(tǒng)。然而，它在需要專業(yè)領(lǐng)域知識的微表情識別中表現(xiàn)不佳

本文還做了什么：為后續(xù)研究的zero-shot基準

本文還能做什么：

• 由于GPT-4V API成本較高，本文對視頻輸入統(tǒng)一采樣3幀。未來的工作將探索更高采樣率下的性能。
• 整合更多與情感相關(guān)的任務和數(shù)據(jù)集，以提供對GPT-4V的全面評估

5.讀后感

1.本文的價值在哪里？

????????對于最新的模型，GPT4的情感識別能力進行了第一次全方位評估。

2.本文的對于情感的可解釋性做了哪些闡釋？

? ? ? ? 將模型的情感理解能力體現(xiàn)為以下任務的性能：面部情感識別、視覺情感分析、微表情識別、動態(tài)面部情感識別和多通道情感識別——【情感分類任務】

3.如何理解其作為zero-shot基準？

????????本文工作希望為后續(xù)研究的zero-shot基準， 其目標在于讓計算機模擬人類的情感推理方式，來識別從未見過的新事物的情感。

? ? ? ? 其在大量的情感任務及數(shù)據(jù)集上做了初次嘗試。

4.接下來的工作可能從哪些方面開展？

? ? ? ? 視頻更好的采樣來觀測性能變化

? ? ? ? 收集更多的情感數(shù)據(jù)集評估GPT-4情感能力。