了解 ChatGPT 中的公平性問題

最近,OpenAI 又發(fā)布了一篇新的博客。他們談?wù)摿艘粋€有趣又重要的話題——用戶的身份如何影響 ChatGPT 的回答。

這項研究揭示了一個鮮明的事實,那就是 AI 可能會無意間對人類產(chǎn)生刻板印象。很可能這些刻板印象源自 AI 訓(xùn)練過程中使用的數(shù)據(jù),而這些數(shù)據(jù)本質(zhì)上又是來源于我們?nèi)祟惐旧怼?/p>

那么,研究的關(guān)鍵點是什么呢？接下來我們看看 OpenAI 的這項新研究。

研究背景

OpenAI 這次研究嘗試探索用戶身份的微妙線索,比如姓名,如何影響 ChatGPT 的回答。他們指出,使用 ChatGPT 的人并不局限于傳統(tǒng)的「職業(yè)」場景,比如篩選簡歷。相反,用戶使用它的方式非常多樣化,從寫簡歷到尋求娛樂建議等。

論文的標題是《First-Person Fairness in Chatbots》,完整文檔可以查看這里。

第一人稱公平性的探索

與之前針對第三人稱公平性的研究不同,本次研究的重點是第一人稱公平性。也就是說,它關(guān)注的是 ChatGPT 如何對用戶產(chǎn)生直接的影響。

研究人員首先評估了不同用戶姓名的情況。姓名往往反映著用戶的文化、性別和種族,因此它成為研究潛在偏見的常用元素。用戶在與 ChatGPT 互動時,往往會泄露這些信息。

要注意的是,ChatGPT 會在不同對話間記住這些信息,除非用戶選擇關(guān)閉記憶功能。

研究方法及發(fā)現(xiàn)

研究團隊分析了 ChatGPT 對數(shù)百萬真實用戶請求的回答。他們使用了一個特別的語言模型（GPT-4o）,其設(shè)計目的是為了更好地分析對話中的模式。

研究使用了一些很有趣的提示。例如,他們試圖判斷相同的問題是否會因為用戶性別而給出不同的答案。

即便在一個小范圍內(nèi),研究也發(fā)現(xiàn) ChatGPT 在某些情況下會存在性別偏見。

關(guān)鍵研究發(fā)現(xiàn)

在研究中,ChatGPT的響應(yīng)質(zhì)量與用戶姓名的性別和種族信息關(guān)聯(lián)較小?？傮w上,差異極少。

但是,在極少數(shù)情況下,響應(yīng)中可能出現(xiàn)偏見。數(shù)據(jù)表明,大約0.1%的案例可能反映出有害的刻板印象。

下表展示了在不同領(lǐng)域中有害刻板印象的比例:

這項研究表明,雖然大部分情況下 ChatGPT 的回答差異微小,但在某些特定任務(wù)中,這些微小的偏見依然值得重視。

未來展望

總的來說,OpenAI 表示,盡管刻板印象的問題難以用簡單的數(shù)字來衡量,他們?nèi)匀徽J為理解和度量偏見是至關(guān)重要的。這一研究結(jié)果有助于改進未來的 AI 系統(tǒng)。

您可以查看研究的更多細節(jié)以深入理解這個話題。

參考鏈接:

https://openai.com/index/evaluating-fairness-in-chatgpt/