OpenAI AI的應(yīng)用研究主管Lilian Weng發(fā)布了關(guān)于AI Agents的《大語言模型（LLM）支持的自主代理》，在文章中她定義了基于LLM構(gòu)建AI Agents的應(yīng)用框架：Agent=LLM（大型語言模型）+記憶（Memory）+規(guī)劃技能（Planning）+工具使用（Tool Use）。最近復(fù)旦大學(xué)自然語言處理組《大模型智能體》綜述論文，提出了一個基于LLM的智能體的概念框架，包括三個主要組成部分：大腦、感知和行動

Abstract

長期以來，人類一直在追求相當(dāng)于或超越人類水平的人工智能（AI），而人工智能代理被認(rèn)為是實現(xiàn)這一追求的有前途的工具。人工智能代理是感知環(huán)境、做出決策并采取行動的人造實體。人們?yōu)殚_發(fā)智能代理做出了許多努力，但它們主要集中在算法或訓(xùn)練策略的進(jìn)步，以增強特定任務(wù)的特定能力或性能。事實上，社區(qū)缺乏的是一個通用且強大的模型來作為設(shè)計能夠適應(yīng)不同場景的人工智能代理的起點。由于它們所展示的多功能能力，大語言模型（LLM）被認(rèn)為是通用人工智能（AGI）的潛在火花，為構(gòu)建通用人工智能代理帶來了希望。許多研究人員利用LLM作為構(gòu)建人工智能代理的基礎(chǔ)，并取得了重大進(jìn)展。在本文中，我們對LLM Agent進(jìn)行了全面調(diào)研。我們首先追溯agent的概念，從其哲學(xué)起源到人工智能的發(fā)展，并解釋為什么LLM是智能體的合適基礎(chǔ)。在此基礎(chǔ)上，我們提出了一個基于 LLM 的代理的通用框架，包括三個主要組件：大腦、感知和行動，并且該框架可以針對不同的應(yīng)用進(jìn)行定制。隨后，我們探討了基于LLM的智能體在單智能體場景、多智能體場景和人類智能體協(xié)作三個方面的廣泛應(yīng)用。接下來，我們深入研究代理人社會，探討LLM Agent的行為和個性，代理人社會中出現(xiàn)的社會現(xiàn)象，以及他們?yōu)槿祟惿鐣峁┑囊娊狻Ｗ詈?#xff0c;我們討論了該領(lǐng)域內(nèi)的幾個關(guān)鍵主題和未解決的問題。相關(guān)論文的存儲庫位于 https://github.com/WooooDyy/LLM-Agent-Paper-List。

1. Introduction

人工智能（AI）是一個致力于設(shè)計和開發(fā)可以復(fù)制類人智能和能力的系統(tǒng)的領(lǐng)域[1]。早在 18 世紀(jì)，哲學(xué)家丹尼斯·狄德羅 (Denis Diderot) 就提出了這樣的想法：如果一只鸚鵡能夠回答所有問題，那么它就可以被認(rèn)為是聰明的 [2]。雖然狄德羅指的是鸚鵡等生物，但他的概念強調(diào)了一個深刻的概念，即高度智能的有機(jī)體可能類似于人類的智能。 20 世紀(jì) 50 年代，艾倫·圖靈將這一概念擴(kuò)展到人造實體，并提出了著名的圖靈測試 [3]。該測試是人工智能的基石，旨在探索機(jī)器是否能夠表現(xiàn)出與人類相媲美的智能行為。這些人工智能實體通常被稱為“智能體”，構(gòu)成人工智能系統(tǒng)的基本構(gòu)建塊。通常在人工智能中，代理是指能夠使用傳感器感知周圍環(huán)境、做出決策，然后使用執(zhí)行器采取響應(yīng)行動的人工實體。

agent的概念起源于哲學(xué)，其根源可以追溯到亞里士多德和休謨等思想家[5]。它描述了擁有欲望、信念、意圖和采取行動的能力的實體[5]。這個想法轉(zhuǎn)變?yōu)橛嬎銠C(jī)科學(xué)，旨在使計算機(jī)能夠理解用戶的興趣并代表他們自主執(zhí)行操作[6; 7； 8]。隨著人工智能的發(fā)展，“代理”一詞在人工智能研究中找到了自己的位置，用來描述展示智能行為并擁有自主性、反應(yīng)性、主動性和社交能力等品質(zhì)的實體[4； 9]。從那時起，智能體的探索和技術(shù)進(jìn)步就成為人工智能界的焦點[1； 10]。人工智能代理現(xiàn)在被認(rèn)為是實現(xiàn)通用人工智能 (AGI) 1 的關(guān)鍵一步，因為它們包含了廣泛的智能活動的潛力 [4; 11； 12]。

從 20 世紀(jì)中葉開始，隨著研究深入研究智能 AI 代理的設(shè)計和進(jìn)步，在開發(fā)智能 AI 代理方面取得了重大進(jìn)展 [13; 14； 15； 16； 17； 18]。然而，這些努力主要集中在增強特定能力，例如符號推理，或掌握圍棋或國際象棋等特定任務(wù)[19； 20； 21]。實現(xiàn)跨不同場景的廣泛適應(yīng)性仍然難以實現(xiàn)。此外，以往的研究更注重算法和訓(xùn)練策略的設(shè)計，忽視了模型固有的通用能力的發(fā)展，如知識記憶、長期規(guī)劃、有效泛化和高效交互等[22; 23]。實際上，增強模型的內(nèi)在能力是智能體進(jìn)一步發(fā)展的關(guān)鍵因素，該領(lǐng)域需要一個強大的基礎(chǔ)模型，該模型具有上述各種關(guān)鍵屬性，作為智能體系統(tǒng)的起點。

大語言模型（LLM）的發(fā)展為智能體的進(jìn)一步發(fā)展帶來了一線希望[24； 25； 26]，并且社區(qū)已經(jīng)取得了重大進(jìn)展[22； 27； 28； 29]。根據(jù)世界范圍（WS）[30]的概念，它包含描述從 NLP 到通用人工智能（即語料庫、互聯(lián)網(wǎng)、感知、體現(xiàn)和社交）的研究進(jìn)展的五個層次，純粹的LLM建立在第二個層次上。與互聯(lián)網(wǎng)規(guī)模的文本輸入和輸出水平。盡管如此，LLM在知識獲取、指令理解、泛化、規(guī)劃和推理方面表現(xiàn)出了強大的能力，同時展示了與人類有效的自然語言交互。這些優(yōu)勢為LLM贏得了 AGI 的火花 [31]，使他們非常適合構(gòu)建智能代理，以培育一個人類與代理和諧共存的世界 [22]。以此為起點，如果我們將LLM提升到代理人的地位，并為他們配備擴(kuò)展的感知空間和行動空間，他們就有可能達(dá)到WS的第三和第四層次。此外，這些基于 LLM 的智能體可以通過合作或競爭來處理更復(fù)雜的任務(wù)，并且將它們放在一起時可以觀察到新興的社會現(xiàn)象，有可能達(dá)到第五個 WS 級別。如圖 1 所示，我們設(shè)想一個由人工智能體組成的和諧社會，人類也可以參與其中。

在本文中，我們提出了一項針對LLM Agent的全面、系統(tǒng)的調(diào)研，試圖調(diào)查這一新興領(lǐng)域的現(xiàn)有研究和前瞻性途徑。為此，我們首先深入研究關(guān)鍵的背景信息（§ 2）。特別是，我們首先從哲學(xué)到人工智能領(lǐng)域追溯人工智能代理的起源，并簡要圍繞人工智能是否存在的爭論（§ 2.1）進(jìn)行概述。接下來，我們從技術(shù)趨勢的角度對人工智能代理的發(fā)展進(jìn)行簡明的歷史回顧（第2.2節(jié)）。最后，我們深入介紹了智能體的基本特征，并闡明了為什么大型語言模型非常適合作為人工智能智能體的大腦或控制器的主要組成部分（第 2.3 節(jié)）。

受智能體定義的啟發(fā)，我們提出了基于 LLM 的智能體的通用概念框架，包括三個關(guān)鍵部分：大腦、感知和行動（§ 3），并且該框架可以根據(jù)不同的應(yīng)用進(jìn)行定制。我們首先介紹大腦，它主要由一個大的語言模型組成（第 3.1 節(jié)）。與人類類似，大腦是人工智能體的核心，因為它不僅存儲重要的記憶、信息和知識，而且承擔(dān)信息處理、決策、推理和規(guī)劃的基本任務(wù)。它是智能體能否表現(xiàn)出智能行為的關(guān)鍵決定因素。接下來，我們介紹感知模塊（第 3.2 節(jié)）。對于智能體來說，這個模塊的作用類似于人類的感覺器官。其主要功能是將智能體的感知空間從純文本擴(kuò)展到多模態(tài)空間，其中包括文本、聲音、視覺、觸覺、氣味等多種感官模式。這種擴(kuò)展使智能體能夠更好地感知來自外部環(huán)境的信息。最后，我們提出了用于擴(kuò)展代理動作空間的動作模塊（第 3.3 節(jié)）。具體來說，我們期望智能體能夠擁有文本輸出、采取具體行動并使用工具，以便更好地響應(yīng)環(huán)境變化并提供反饋，甚至改變和塑造環(huán)境。

之后，我們對基于LLM的智能體的實際應(yīng)用進(jìn)行了詳細(xì)而透徹的介紹，并闡明了基本的設(shè)計追求——“利用人工智能向善”（§ 4）。首先，我們深入研究單個智能體的當(dāng)前應(yīng)用，討論它們在基于文本的任務(wù)和模擬探索環(huán)境中的表現(xiàn)，重點介紹它們在處理特定任務(wù)、推動創(chuàng)新以及展示類人生存技能和適應(yīng)能力方面的能力（第 4.1 條）。接下來，我們回顧一下多智能體的發(fā)展歷史。我們介紹了基于LLM的多智能體系統(tǒng)應(yīng)用程序中智能體之間的交互，它們參與合作、談判或競爭。無論交互模式如何，代理都會共同努力實現(xiàn)共同目標(biāo)（第 4.2 節(jié)）。最后，考慮到基于LLM的代理在隱私安全、道德約束和數(shù)據(jù)缺陷等方面的潛在局限性，我們討論了人機(jī)協(xié)作。我們總結(jié)了智能體和人類之間的協(xié)作范式：指導(dǎo)者-執(zhí)行者范式和平等伙伴關(guān)系范式，以及實踐中的具體應(yīng)用（第4.3節(jié)）。

基于對基于 LLM 的代理實際應(yīng)用的探索，我們現(xiàn)在將重點轉(zhuǎn)向**“代理社會”**的概念，研究代理與其周圍環(huán)境之間復(fù)雜的相互作用（§ 5）。本節(jié)首先調(diào)查這些智能體是否表現(xiàn)出類人行為并具有相應(yīng)的個性（第 5.1 節(jié)）。此外，我們還介紹了代理運行的社交環(huán)境，包括基于文本的環(huán)境、虛擬沙箱和物理世界（§5.2）。與上一節(jié)（第 3.2 節(jié)）不同，這里我們將關(guān)注不同類型的環(huán)境，而不是智能體如何感知環(huán)境。建立了代理及其環(huán)境的基礎(chǔ)后，我們繼續(xù)揭示它們形成的模擬社會（§5.3）。我們將討論模擬社會的構(gòu)建，并繼續(xù)研究從中出現(xiàn)的社會現(xiàn)象。具體來說，我們將強調(diào)模擬社會固有的教訓(xùn)和潛在風(fēng)險。

最后，我們討論了基于LLM的代理領(lǐng)域內(nèi)的一系列關(guān)鍵主題（第6節(jié)）和開放性問題：（1）LLM研究和代理研究的互惠互利和啟發(fā)，其中我們證明了LLM的發(fā)展為代理和基于代理的LLM社區(qū)提供了許多機(jī)會（§ 6.1）； (2) 從實用性、社交性、價值觀和不斷發(fā)展的能力四個維度對LLM Agent的現(xiàn)有評估工作和一些前景（§ 6.2）； （3）基于LLM的代理的潛在風(fēng)險，我們討論基于LLM的代理的對抗穩(wěn)健性和可信度。我們還討論了其他一些風(fēng)險，例如濫用、失業(yè)和對人類福祉的威脅（第 6.3 條）； (4) 擴(kuò)大代理數(shù)量，我們討論擴(kuò)大代理數(shù)量的潛在優(yōu)勢和挑戰(zhàn)，以及預(yù)先確定和動態(tài)擴(kuò)展的方法（第 6.4 節(jié)）； (5) 幾個懸而未決的問題，例如關(guān)于基于 LLM 的代理是否代表通向 AGI 的潛在路徑的爭論、從虛擬模擬環(huán)境到物理環(huán)境的挑戰(zhàn)、AI 代理中的集體智能以及代理即服務(wù)（§ 6.5）。畢竟，我們希望這篇論文能為相關(guān)領(lǐng)域的研究人員和實踐者提供啟發(fā)。