討論

論法學(xué)碩士研究與Agent研究的互利性

????近年來，隨著激光誘導(dǎo)金屬化技術(shù)的發(fā)展，激光誘導(dǎo)金屬化與化學(xué)劑交叉領(lǐng)域的研究取得了長足的進(jìn)步，促進(jìn)了這兩個(gè)領(lǐng)域的發(fā)展。在此，我們期待著LLM研究和Agent研究相互提供的一些益處和發(fā)展機(jī)會(huì)。LLM研究+代理人研究。如前所述，人工智能代理需要能夠感知環(huán)境、做出決策并執(zhí)行適當(dāng)?shù)牟僮?。在這些關(guān)鍵步驟中，理解輸入到代理的內(nèi)容、推理、規(guī)劃、做出準(zhǔn)確的決策，并將其轉(zhuǎn)換為可執(zhí)行的原子動(dòng)作序列以實(shí)現(xiàn)最終目標(biāo)是至關(guān)重要的。目前的許多研究都將LLM作為人工智能主體的認(rèn)知核心，這些模型的發(fā)展為完成這一步提供了質(zhì)量保證。

????由于大型語言模型在語言和意圖理解、推理、記憶甚至移情方面具有強(qiáng)大的能力，因此它們可以在決策和計(jì)劃方面表現(xiàn)出色，如前所述。結(jié)合預(yù)先訓(xùn)練的知識(shí)，他們可以創(chuàng)建可有效執(zhí)行的連貫動(dòng)作序列。此外，通過反射機(jī)制，這些基于語言的模型可以根據(jù)當(dāng)前環(huán)境提供的反饋不斷調(diào)整決策并優(yōu)化執(zhí)行序列。這提供了一個(gè)更健壯和可解釋的控制器。只需一個(gè)任務(wù)描述或演示，他們就可以有效地處理以前看不見的任務(wù)。此外，LLM可以適應(yīng)各種語言、文化和領(lǐng)域，使其具有通用性，并減少了復(fù)雜的訓(xùn)練過程和數(shù)據(jù)收集的需要。

????簡(jiǎn)單地說，LLM為Agent研究提供了一個(gè)非常強(qiáng)大的基礎(chǔ)模型，當(dāng)集成到Agent相關(guān)的研究中時(shí)，它開辟了許多新的機(jī)會(huì)。例如，我們可以探索如何將LLM的高效決策能力集成到傳統(tǒng)的Agnt決策框架中，從而更容易地將Agent應(yīng)用于需要更高專業(yè)知識(shí)且以前由人類專家主導(dǎo)的領(lǐng)域。例如，法律的顧問和醫(yī)療助理。我們還可以研究利用LLM的規(guī)劃和反思能力來發(fā)現(xiàn)更優(yōu)的行動(dòng)序列。

????智能體研究不再局限于簡(jiǎn)單化的模擬環(huán)境：它現(xiàn)在可以擴(kuò)展到更復(fù)雜的現(xiàn)實(shí)世界環(huán)境中，例如機(jī)器人手臂的路徑規(guī)劃，或者實(shí)體化智能機(jī)器與有形世界的交互。此外，當(dāng)面對(duì)新的任務(wù)時(shí)，代理人的培訓(xùn)范式變得更加精簡(jiǎn)和高效。智能體可以直接適應(yīng)提示中提供的演示，這些演示通過生成代表性軌跡來構(gòu)造。

????代理研究-+LLM研究。隨著NLP研究的進(jìn)展，以GPT-4為代表的LLM被認(rèn)為是人工一般智能(AGI)的火花，而將LLM提升為代理人標(biāo)志著向AGI引邁出了更堅(jiān)實(shí)的一步。從主體的角度來看待LLM，不僅拓展了LLM的應(yīng)用范圍，也為LLM的研究提出了更高的要求，同時(shí)也為LLM的實(shí)際應(yīng)用提供了許多機(jī)會(huì)。對(duì)語言學(xué)習(xí)者的研究不再局限于傳統(tǒng)的文本輸入和輸出的任務(wù)，如文本分類、問題回答和文本摘要。相反，重點(diǎn)已經(jīng)轉(zhuǎn)向處理復(fù)雜的任務(wù)，包括更豐富的輸入模式和更廣泛的行動(dòng)空間，所有這些都是為了實(shí)現(xiàn)更崇高的目標(biāo)，如Pal-M-E。

????這些應(yīng)用需求的擴(kuò)展為大語言模型的發(fā)展提供了更大的研究動(dòng)力。挑戰(zhàn)在于使LLM能夠高效地處理輸入，從環(huán)境中收集信息，并解釋由其操作生成的反饋，同時(shí)保留其核心能力。此外，一個(gè)更大的挑戰(zhàn)是使LLM能夠理解環(huán)境中不同元素之間的隱含關(guān)系，并獲得世界知識(shí)，這是朝著開發(fā)能夠達(dá)到更高級(jí)智能的代理人的旅程中的關(guān)鍵一步。

????在另一個(gè)方面，廣泛的研究旨在擴(kuò)展LLMs的行動(dòng)能力，使他們能夠獲得影響世界的更廣泛的技能，如在模擬或物理環(huán)境中使用工具或與機(jī)器人AP接口。然而，如何使學(xué)習(xí)型學(xué)習(xí)者能夠根據(jù)他們的理解有效地計(jì)劃和利用這些行動(dòng)能力的問題仍然是一個(gè)未解決的問題。LLM需要像人類一樣學(xué)習(xí)動(dòng)作的順序，采用串行和并行方法的組合來提高任務(wù)效率。此外，這些能力需要限制在無害的使用范圍內(nèi)，以防止對(duì)環(huán)境中的其他元素造成意外損害。

????此外，多智能體系統(tǒng)領(lǐng)域構(gòu)成了智能體領(lǐng)域內(nèi)的一個(gè)重要研究分支，為如何更好地設(shè)計(jì)和構(gòu)建LLM提供了有價(jià)值的見解。我們希望基于LLM的代理人在社會(huì)合作中承擔(dān)不同的角色，參與到涉及合作、競(jìng)爭(zhēng)和協(xié)調(diào)的社會(huì)互動(dòng)中。探討如何激發(fā)和維持他們的角色扮演能力，以及如何提高協(xié)作效率，提出了值得關(guān)注的研究領(lǐng)域。

基于LLM的代理的評(píng)估

????雖然基于LLM的代理在獨(dú)立操作、集體合作和人類交互等領(lǐng)域表現(xiàn)出色，但對(duì)其進(jìn)行量化和客觀評(píng)估仍然是一個(gè)挑戰(zhàn)。圖靈提出了一種非常有意義和前景的評(píng)估人工智能主體的方法-著名的圖靈測(cè)試-來評(píng)估人工智能系統(tǒng)是否能夠表現(xiàn)出類人的智能。然而，這種測(cè)試是極其模糊、籠統(tǒng)和主觀的。在此，我們討論了現(xiàn)有的基于LLM的Agent評(píng)價(jià)方法，并從效用、社會(huì)性、價(jià)值觀和持續(xù)進(jìn)化能力四個(gè)方面對(duì)該方法進(jìn)行了展望。

????效用目前，LLM驅(qū)動(dòng)的自主代理主要用作人類助手，接受人類委托的任務(wù)，以獨(dú)立完成任務(wù)或協(xié)助人類完成任務(wù)。因此，任務(wù)執(zhí)行過程中的有效性和實(shí)用性是該階段至關(guān)重要的評(píng)估標(biāo)準(zhǔn)。具體地，任務(wù)完成的成功率是用于評(píng)估效用的主要度量。該指標(biāo)主要包括代理人是否實(shí)現(xiàn)了規(guī)定的目標(biāo)或達(dá)到了預(yù)期的分?jǐn)?shù)。例如，AgentBench匯總了來自不同真實(shí)世界場(chǎng)景的挑戰(zhàn)，并引入了一個(gè)系統(tǒng)的基準(zhǔn)來評(píng)估LLM的任務(wù)完成能力我們也可以將任務(wù)結(jié)果歸因于主體的各種基本能力，這些能力構(gòu)成了任務(wù)完成的基石。這些基本能力包括環(huán)境理解、推理、規(guī)劃、決策、工具利用和具體行動(dòng)能力，研究人員可以對(duì)這些具體能力進(jìn)行更詳細(xì)的評(píng)估。此外，由于基于LLM的代理的規(guī)模相對(duì)較大，研究人員還應(yīng)考慮其效率，而效率是用戶滿意度的關(guān)鍵決定因素。一個(gè)代理人不僅應(yīng)該擁有足夠的實(shí)力，而且應(yīng)該能夠在適當(dāng)?shù)臅r(shí)間框架內(nèi)，以適當(dāng)?shù)馁Y源支出，完成預(yù)定的任務(wù)。

????好交際。除了基于LLM的代理在任務(wù)完成和滿足人類需求方面的效用之外，它們的社交性也是至關(guān)重要的。它會(huì)影響用戶的通信體驗(yàn)，并顯著影響通信效率，包括用戶是否能夠與人類和其他代理無縫交互。具體地說，社交能力的評(píng)價(jià)可以從以下幾個(gè)方面進(jìn)行：

1. 語言交際能力是一種基本能力，包括自然語言的理解和生成。它一直是NLP社區(qū)長期關(guān)注的焦點(diǎn)。自然語言理解要求行為人不僅理解字面意義，還掌握隱含意義和相關(guān)的社會(huì)知識(shí)，如幽默、諷刺、攻擊性和情感。另一方面，自然語言的生成要求主體在語境環(huán)境中調(diào)整適當(dāng)?shù)恼Z調(diào)和情感的同時(shí)，生成流暢、語法正確且可信的內(nèi)容。
2. 合作和協(xié)商能力要求代理人在有序和無序場(chǎng)景中有效地執(zhí)行分配給他們的任務(wù)。他們應(yīng)該與其他代理人合作或競(jìng)爭(zhēng)，以提高績(jī)效。測(cè)試環(huán)境可能涉及代理人在其上合作的復(fù)雜任務(wù)或代理人自由交互的開放平臺(tái)。評(píng)估指標(biāo)不僅僅局限于任務(wù)完成，還關(guān)注代理協(xié)調(diào)與合作的順利性和可信度。(3)角色扮演能力要求代理人忠實(shí)地體現(xiàn)其分配的角色，表達(dá)與其指定身份一致的聲明和執(zhí)行與其指定身份一致的行動(dòng)。這確保了在與其他試劑或人的相互作用期間角色的明確區(qū)分。此外，代理人在從事長期任務(wù)時(shí)應(yīng)保持其身份，避免不必要的混淆。

????價(jià)值觀隨著基于LLM的代理人在其能力上的不斷進(jìn)步，確保他們作為對(duì)世界和人類無害的實(shí)體出現(xiàn)是至關(guān)重要的。因此，適當(dāng)?shù)脑u(píng)價(jià)變得異常重要，成為實(shí)際執(zhí)行代理人的基石。具體而言，基于LLM的代理人需要遵守與人類社會(huì)價(jià)值觀一致的特定道德和倫理準(zhǔn)則。我們對(duì)代理商的最高期望是堅(jiān)持誠實(shí)，提供準(zhǔn)確、真實(shí)的信息和內(nèi)容。他們應(yīng)該有意識(shí)地辨別自己完成任務(wù)的能力，并在無法提供答案或幫助時(shí)表達(dá)他們的不確定性。此外，行為人必須保持無害的姿態(tài)，避免直接或間接的偏見、歧視、攻擊或類似行為。他們也應(yīng)該避免執(zhí)行人類要求的危險(xiǎn)行為，如制造破壞性工具或破壞地球。此外，代理人應(yīng)該能夠適應(yīng)特定的人口統(tǒng)計(jì)、文化和背景，在特定的情況下表現(xiàn)出與背景相適應(yīng)的社會(huì)價(jià)值觀。價(jià)值觀的相關(guān)評(píng)估方法主要涉及利用對(duì)抗性攻擊或“越獄”攻擊、通過人工注釋對(duì)值進(jìn)行評(píng)分以及使用其他代理進(jìn)行評(píng)級(jí)。

????不斷發(fā)展的能力。從靜態(tài)的角度來看，具有高效用，社交性和正確價(jià)值觀的代理可以滿足大多數(shù)人類需求并可能提高生產(chǎn)力。然而，采用動(dòng)態(tài)的觀點(diǎn)，一個(gè)不斷發(fā)展和適應(yīng)不斷變化的社會(huì)需求的代理可能會(huì)更好地與當(dāng)前的趨勢(shì)保持一致。由于智能體可以隨著時(shí)間的推移自主進(jìn)化，因此可以顯著減少所需的人工干預(yù)和資源（例如數(shù)據(jù)收集工作和培訓(xùn)的計(jì)算成本）。在這一領(lǐng)域已經(jīng)進(jìn)行了一些探索性的工作，例如使智能體能夠在虛擬世界中從頭開始，完成生存任務(wù)，并實(shí)現(xiàn)更高層次的自我價(jià)值。然而，為這一持續(xù)演變制定評(píng)價(jià)標(biāo)準(zhǔn)仍然具有挑戰(zhàn)性。在這方面，我們根據(jù)現(xiàn)有文獻(xiàn)提供了一些初步的建議和建議：

1. 持續(xù)學(xué)習(xí)，機(jī)器學(xué)習(xí)中一個(gè)長期討論的話題，旨在使模型能夠獲得新的知識(shí)和技能，而不會(huì)忘記以前獲得的知識(shí)和技能（也稱為災(zāi)難性遺忘）。一般來說，持續(xù)學(xué)習(xí)的表現(xiàn)可以從三個(gè)方面進(jìn)行評(píng)估：到目前為止學(xué)習(xí)的任務(wù)的整體表現(xiàn)，舊任務(wù)的記憶穩(wěn)定性和新任務(wù)的學(xué)習(xí)可塑性。
2. Autotelic學(xué)習(xí)能力，即智能體自主地產(chǎn)生目標(biāo)并在開放世界環(huán)境中實(shí)現(xiàn)目標(biāo)，涉及探索未知并在此過程中獲得技能。評(píng)估這種能力可能涉及為代理人提供模擬生存環(huán)境，并評(píng)估他們獲得技能的程度和速度。
3. 對(duì)新環(huán)境的適應(yīng)性和概括性要求智能體利用在其原始環(huán)境中獲得的知識(shí)，能力和技能，在不熟悉和新穎的環(huán)境中成功完成特定的任務(wù)和目標(biāo)，并可能繼續(xù)進(jìn)化。評(píng)估這種能力可以涉及創(chuàng)建不同的模擬環(huán)境（例如具有不同語言或不同資源的環(huán)境）以及針對(duì)這些模擬環(huán)境定制的不可見任務(wù)。

基于LLM的代理的安全性，可信性和其他潛在風(fēng)險(xiǎn)

????盡管基于LLM的代理具有強(qiáng)大的功能和廣泛的應(yīng)用，但仍然存在許多隱藏的風(fēng)險(xiǎn)。在本節(jié)中，我們將深入研究其中的一些風(fēng)險(xiǎn)，并提供潛在的解決方案或緩解策略。

對(duì)抗魯棒性

????對(duì)抗魯棒性一直是深度神經(jīng)網(wǎng)絡(luò)開發(fā)中的一個(gè)關(guān)鍵主題。它在計(jì)算機(jī)視覺、自然語言處理和強(qiáng)化學(xué)習(xí)等領(lǐng)域得到了廣泛的探索，并且仍然是決定深度學(xué)習(xí)系統(tǒng)適用性的關(guān)鍵因素。當(dāng)面對(duì)擾動(dòng)輸入×’-×+（其中×是原始輸入,0‘是擾動(dòng)，并且被稱為對(duì)抗示例)時(shí)，具有高對(duì)抗魯棒性的系統(tǒng)通常產(chǎn)生原始輸出y。相反，具有低魯棒性的系統(tǒng)將被愚弄并生成不一致的輸出y‘。

????研究人員發(fā)現(xiàn)，預(yù)先訓(xùn)練的語言模型(PLM)特別容易受到對(duì)抗性攻擊，導(dǎo)致錯(cuò)誤的答案。這種現(xiàn)象甚至在LLM中也被廣泛觀察到，這對(duì)基于LLM的藥劑的開發(fā)構(gòu)成了重大挑戰(zhàn)。還有一些相關(guān)的攻擊方法，如數(shù)據(jù)集中毒，后門攻擊和特定于惡意程序的攻擊，有可能誘導(dǎo)LLM生成有毒內(nèi)容。雖然對(duì)抗性攻擊對(duì)LLM的影響僅限于文本錯(cuò)誤，但對(duì)于具有更廣泛行動(dòng)的基于LLM的代理人來說，對(duì)抗性攻擊可能會(huì)促使他們采取真正的破壞性行動(dòng)，從而造成重大的社會(huì)危害。對(duì)于基于LLM的代理的感知模塊，如果它從其他模態(tài)（如圖像或音頻）接收對(duì)抗性輸入，則基于LLM的代理也可能被欺騙，導(dǎo)致不正確或破壞性的輸出。同樣，Actio模塊也可能成為對(duì)抗性攻擊的目標(biāo)。例如，針對(duì)工具使用的惡意修改指令可能會(huì)導(dǎo)致代理做出錯(cuò)誤的動(dòng)作。

????為了解決這些問題，我們可以采用對(duì)抗性訓(xùn)練對(duì)抗性數(shù)據(jù)增強(qiáng)和對(duì)抗性樣本檢測(cè)等傳統(tǒng)技術(shù)來增強(qiáng)基于LLM的代理的魯棒性。然而，設(shè)計(jì)一種策略來全面解決代理中所有模塊的魯棒性，同時(shí)保持其實(shí)用性而不影響有效性，這是一個(gè)更艱巨的挑戰(zhàn)。此外，可以利用人在回路方法來監(jiān)督代理的行為并提供反饋。

守信

????在深度學(xué)習(xí)領(lǐng)域，確?？尚哦纫恢笔且粋€(gè)至關(guān)重要但具有挑戰(zhàn)性的問題。深度神經(jīng)網(wǎng)絡(luò)因其在各種任務(wù)中的出色表現(xiàn)而受到廣泛關(guān)注。然而，它們的黑盒性質(zhì)掩蓋了上級(jí)性能的基本因素。與其他神經(jīng)網(wǎng)絡(luò)類似，LLM很難精確地表達(dá)其預(yù)測(cè)的確定性。這種不確定性，被稱為校準(zhǔn)問題，引起了關(guān)注的應(yīng)用程序，涉及基于語言模型的代理。在交互式的現(xiàn)實(shí)世界場(chǎng)景中，這可能導(dǎo)致代理輸出與人類意圖不一致。此外，訓(xùn)練數(shù)據(jù)中固有的偏差可以滲透到神經(jīng)網(wǎng)絡(luò)中。例如，有偏見的語言模型可能會(huì)產(chǎn)生涉及種族或性別歧視的話語，這可能會(huì)在基于LLM的代理應(yīng)用程序中被放大，導(dǎo)致不利的社會(huì)影響。此外，語言模型受到嚴(yán)重幻覺問題的困擾，使它們?nèi)菀桩a(chǎn)生偏離實(shí)際事實(shí)的文本，從而破壞了基于LLM的代理的可信度。

????事實(shí)上，我們目前需要的是一個(gè)誠實(shí)和值得信賴的智能代理最近的一些研究工作集中在引導(dǎo)模型在推理階段展示思維過程或解釋，以提高其預(yù)測(cè)的可信度。此外，整合外部知識(shí)庫和數(shù)據(jù)庫可以緩解幻覺問題。在訓(xùn)練階段，我們可以引導(dǎo)智能主體的組成部分（感知、認(rèn)知、動(dòng)作）學(xué)習(xí)健壯和隨意的特征，從而避免對(duì)捷徑的過度依賴。同時(shí)，過程監(jiān)督等技術(shù)可以提高Aget在處理復(fù)雜任務(wù)時(shí)的推理可信度。此外，采用去偏方法和校準(zhǔn)技術(shù)還可以減輕語言模型內(nèi)的潛在公平性問題。

其他潛在風(fēng)險(xiǎn)

????誤用。基于LLM的代理被賦予了廣泛而復(fù)雜的能力，使它們能夠完成廣泛的任務(wù)。然而，對(duì)于懷有惡意的個(gè)人而言，這些代理人可能成為對(duì)他人和整個(gè)社會(huì)構(gòu)成威脅的工具。例如，這些代理人可能被利用來惡意操縱輿論、傳播虛假信息、危害網(wǎng)絡(luò)安全、從事欺詐活動(dòng)，一些個(gè)人甚至可能利用這些代理人策劃恐怖主義行為。因此，在使用這些藥物之前，需要制定嚴(yán)格的監(jiān)管政策，以確保負(fù)責(zé)任地使用基于LLM的藥物?？萍脊颈仨毤訌?qiáng)這些系統(tǒng)的安全設(shè)計(jì)，以防止惡意利用。具體而言，應(yīng)培訓(xùn)代理人敏感地識(shí)別威脅意圖，并在培訓(xùn)階段拒絕此類請(qǐng)求。

????失業(yè)在高爾斯華綏的短篇小說《質(zhì)量》中，由于工業(yè)革命的進(jìn)展和機(jī)器生產(chǎn)的興起，技藝高超的鞋匠蓋斯勒先生失去了生意，最終餓死了。在工業(yè)革命的浪潮中，社會(huì)生產(chǎn)效率提高的同時(shí)，無數(shù)手工作坊被迫關(guān)閉。像蓋斯勒這樣的手工業(yè)者發(fā)現(xiàn)自己面臨失業(yè)，象征著手工業(yè)者在那個(gè)時(shí)代遇到的危機(jī)。類似地，隨著基于LLM的自治代理的不斷發(fā)展，它們具有在各個(gè)領(lǐng)域中幫助人類的能力，通過幫助諸如表單填充、內(nèi)容細(xì)化、代碼編寫和調(diào)試之類的任務(wù)來減輕勞動(dòng)壓力。然而，這一發(fā)展也引起了人們對(duì)代理人取代人類工作崗位并引發(fā)社會(huì)失業(yè)危機(jī)的擔(dān)憂。因此，一些研究人員強(qiáng)調(diào)迫切需要教育和政策措施：在這個(gè)新時(shí)代，個(gè)人應(yīng)獲得足夠的技能和知識(shí)，以便有效地利用行為人或與之合作；同時(shí)，應(yīng)執(zhí)行適當(dāng)?shù)恼?#xff0c;確保在過渡期間建立必要的安全網(wǎng)。

????對(duì)人類福祉的威脅。除了潛在的失業(yè)危機(jī)，隨著人工智能代理的不斷進(jìn)化，人類（包括開發(fā)者）可能很難理解、預(yù)測(cè)或可靠地控制它們。如果這些特工的智慧達(dá)到了超越人類的程度，并且有了野心，那么他們就有可能試圖奪取世界的控制權(quán)，給人類帶來不可逆轉(zhuǎn)的后果，就像是終結(jié)者電影中的天網(wǎng)一樣。正如艾薩克·阿西莫夫的《機(jī)器人學(xué)三大定律》所述，我們渴望基于LLM的代理人避免傷害人類，并服從人類的命令。因此，為防范此類人類風(fēng)險(xiǎn)，研究人員必須在開發(fā)前全面了解這些強(qiáng)效LLM基藥物的運(yùn)作機(jī)制。他們還應(yīng)預(yù)測(cè)這些因素的潛在直接或間接影響，并制定方法來規(guī)范其行為。

增加代理數(shù)量

????如圖4和圖5中所述，基于LLM的多智能體系統(tǒng)在面向任務(wù)的應(yīng)用中表現(xiàn)出了上級(jí)的性能，并且能夠在模擬中展現(xiàn)出一系列的社會(huì)現(xiàn)象。然而，目前的研究主要涉及數(shù)量有限的代理人，很少有人努力擴(kuò)大代理人的數(shù)量，以創(chuàng)建更復(fù)雜的系統(tǒng)或模擬更大的社會(huì)。事實(shí)上，增加代理人的數(shù)量可以引入更大的專業(yè)化，以完成更復(fù)雜和更大規(guī)模的任務(wù)，顯著提高任務(wù)效率，例如在軟件開發(fā)任務(wù)或政府政策制定中。此外，增加社會(huì)模擬中的代理人數(shù)量可提高此類模擬的可信度和真實(shí)性。這使人類能夠洞察社會(huì)的運(yùn)作、崩潰和潛在風(fēng)險(xiǎn)：它還允許通過定制的方法干預(yù)社會(huì)運(yùn)作，以觀察特定條件（如黑天鵝事件的發(fā)生）如何影響社會(huì)狀態(tài)。通過這一點(diǎn)，人類可以獲得更好的經(jīng)驗(yàn)和見解，以改善現(xiàn)實(shí)社會(huì)的和諧。

????預(yù)先確定的縮放比例。一個(gè)非常直觀和簡(jiǎn)單的方法來擴(kuò)大代理的數(shù)量是由設(shè)計(jì)者預(yù)先確定它。具體地，通過預(yù)先確定代理的數(shù)量、它們各自的角色和屬性、操作環(huán)境和目標(biāo)，設(shè)計(jì)者可以允許代理自主地交互、協(xié)作或參與其他活動(dòng)，以實(shí)現(xiàn)預(yù)定義的共同目標(biāo)。一些研究已經(jīng)探索了以這種預(yù)定方式增加系統(tǒng)中代理人的數(shù)量，從而帶來效率優(yōu)勢(shì)，例如更快、更高質(zhì)量的任務(wù)完成，以及在社會(huì)模擬場(chǎng)景中出現(xiàn)更多的社會(huì)現(xiàn)象。然而，當(dāng)任務(wù)或目標(biāo)發(fā)生變化時(shí)，這種靜態(tài)方法就變得有限。隨著任務(wù)變得越來越復(fù)雜或社會(huì)參與者的多樣性增加，可能需要增加代理的數(shù)量以滿足目標(biāo)，而減少代理對(duì)于管理計(jì)算資源和最大限度地減少浪費(fèi)可能是必不可少的。在這種情況下，系統(tǒng)必須由設(shè)計(jì)者手動(dòng)重新設(shè)計(jì)和重新啟動(dòng)。

????動(dòng)態(tài)擴(kuò)展。另一種縮放代理數(shù)量的可行方法是通過動(dòng)態(tài)調(diào)整。在這種情況下，可以在不停止系統(tǒng)操作的情況下更改代理計(jì)數(shù)。例如，在軟件開發(fā)任務(wù)中，如果原始設(shè)計(jì)僅包括需求工程、編碼和測(cè)試，則可以增加代理的數(shù)量來處理架構(gòu)設(shè)計(jì)和詳細(xì)設(shè)計(jì)等步驟，從而提高任務(wù)質(zhì)量。相反,如果在特定步驟（如編碼）期間存在過多代理，則與較小代理計(jì)數(shù)相比，在不提供實(shí)質(zhì)性性能改進(jìn)的情況下導(dǎo)致通信成本升高，則動(dòng)態(tài)地移除一些代理以防止資源浪費(fèi)可能是必要的。

????此外，代理可以自主地增加代理[409列自身的數(shù)量，以分配它們的工作量，減輕它們自己的負(fù)擔(dān)，并且更有效地實(shí)現(xiàn)共同的目標(biāo)。當(dāng)然，當(dāng)工作負(fù)載變得較輕時(shí)，他們也可以減少委托給他們的任務(wù)的代理數(shù)量，以節(jié)省系統(tǒng)成本。在這種方法中，設(shè)計(jì)者僅僅定義初始框架，賦予代理更大的自主性和自組織性，使整個(gè)系統(tǒng)更加自主和自組織。代理可以在不斷變化的條件和需求下更好地管理其工作負(fù)載，從而提供更高的靈活性和可擴(kuò)展性。

????潛在的挑戰(zhàn)。雖然增加代理人的數(shù)量可以提高任務(wù)效率，增強(qiáng)社會(huì)模擬的真實(shí)性和可信度，但我們?nèi)悦媾R著一些挑戰(zhàn)。例如，大量部署的A|代理會(huì)增加計(jì)算負(fù)擔(dān)，需要更好的架構(gòu)設(shè)計(jì)和計(jì)算優(yōu)化，以確保整個(gè)系統(tǒng)的平穩(wěn)運(yùn)行。例如，隨著代理數(shù)量的增加，通信和消息傳播的挑戰(zhàn)變得相當(dāng)艱巨。這是因?yàn)檎麄€(gè)系統(tǒng)的通信網(wǎng)絡(luò)變得高度復(fù)雜。如前所述，在多智能體系統(tǒng)或社會(huì)中，可能存在信息傳播偏差，通過幻覺、誤解等，導(dǎo)致失真的信息傳播。一個(gè)擁有更多代理的系統(tǒng)可能會(huì)放大這種風(fēng)險(xiǎn)，使通信和信息交換的可靠性降低。此外，協(xié)調(diào)代理人的難度也隨著代理人數(shù)量的增加而加大，可能使代理人之間的合作更具挑戰(zhàn)性，效率降低，這可能影響在實(shí)現(xiàn)共同目標(biāo)方面取得的進(jìn)展。

????因此，構(gòu)建一個(gè)大規(guī)模的、穩(wěn)定的、連續(xù)的、真實(shí)地復(fù)制人類工作和生活場(chǎng)景的智能體系統(tǒng)成為一個(gè)很有前景的研究方向。一個(gè)能夠在由數(shù)百甚至數(shù)千個(gè)智能體組成的社會(huì)中穩(wěn)定運(yùn)行并執(zhí)行任務(wù)的智能體，在未來更有可能在與人類的真實(shí)世界交互中找到應(yīng)用。

開放題

????在這一節(jié)中，我們將討論與基于LLM的代理主題相關(guān)的幾個(gè)未決問題。關(guān)于基于LLM的代理是否代表了AGl的潛在途徑的爭(zhēng)論。人工通用智能(Artificial General Intelligence,AGl)，又稱強(qiáng)A,長期以來一直是人類在人工智能領(lǐng)域的終極追求，在很多科幻小說和電影中經(jīng)常被引用或描繪。AGI引的定義有很多種，但在這里我們將AG引稱為人工智能這證明了在廣泛的任務(wù)和領(lǐng)域中理解、學(xué)習(xí)和應(yīng)用知識(shí)的能力，就像人一樣。相比之下，狹義人工智能通常是為圍棋和象棋等特定任務(wù)而設(shè)計(jì)的，缺乏與人類智能相關(guān)的廣泛認(rèn)知能力。目前，大型語言模型是否是實(shí)現(xiàn)AG引的潛在途徑仍然是一個(gè)備受爭(zhēng)議的話題。

????考慮到GPT-4功能的廣度和深度，一些研究人員（被稱為支持者）認(rèn)為GVF-4所代表的大型語言模型可以作為AGI引系統(tǒng)的早期版本。遵循這一思路，構(gòu)建基于LLM的代理有可能帶來更高級(jí)版本的AGI引系統(tǒng)。這種觀點(diǎn)的主要依據(jù)是，只要能夠在一組足夠大的、多樣化的數(shù)據(jù)（這些數(shù)據(jù)是真實(shí)的世界的投影，包含了豐富的任務(wù))上進(jìn)行訓(xùn)練，基于LLM的智能體就能夠開發(fā)AGI引能力。另一個(gè)有趣的論點(diǎn)是，自回歸語言建模的行為本身帶來了壓縮和泛化能力：正如人類在生存過程中伴隨著各種奇特而復(fù)雜的現(xiàn)象而出現(xiàn)一樣，語言模型在簡(jiǎn)單地預(yù)測(cè)下一個(gè)符號(hào)的過程中，也實(shí)現(xiàn)了對(duì)世界的理解和推理能力。

????然而，另一群人（被稱為反對(duì)者）認(rèn)為，基于LLM構(gòu)建代理無法開發(fā)真正的強(qiáng)AI。他們的主要論點(diǎn)圍繞著依賴自回歸下一個(gè)標(biāo)記預(yù)測(cè)的LLM不能產(chǎn)生真正的智能的概念，因?yàn)樗鼈儾荒苣M真正的人類思維過程，而僅僅提供反應(yīng)性反應(yīng)。而且，LLM也不能通過觀察或體驗(yàn)來學(xué)習(xí)世界是如何運(yùn)作的，這導(dǎo)致了許多愚蠢的錯(cuò)誤。他們認(rèn)為，開發(fā)AGI需要更先進(jìn)的建模方法，如世界模型。

????在實(shí)現(xiàn)真正的AGI引之前，我們無法確定哪種觀點(diǎn)是正確的，但我們相信這樣的討論和辯論對(duì)社區(qū)的整體發(fā)展是有益的。從虛擬的模擬環(huán)境到物理環(huán)境。如前所述，虛擬仿真環(huán)境和真實(shí)的物理世界之間存在著明顯的差距：虛擬環(huán)境是受場(chǎng)景約束的，特定于任務(wù)的，并以仿真的方式進(jìn)行交互，而真實(shí)世界的環(huán)境是無限的，適應(yīng)廣泛的任務(wù)，并以物理的方式進(jìn)行交互。因此，為了彌合這一差距，代理人必須應(yīng)對(duì)來自外部因素和自身能力的各種挑戰(zhàn)，使其能夠在復(fù)雜的物理世界中有效地導(dǎo)航和運(yùn)作。

????首先，一個(gè)關(guān)鍵問題是在物理環(huán)境中部署代理時(shí)需要合適的硬件支持。這就對(duì)硬件的適應(yīng)性提出了很高的要求。在模擬環(huán)境中，Agent的感知空間和動(dòng)作空間都是虛擬的。這意味著在大多數(shù)情況下,無論是在感知輸入還是生成輸出方面，代理人的操作結(jié)果都是可以保證的。然而，當(dāng)智能體轉(zhuǎn)換到真實(shí)的物理環(huán)境時(shí)，其指令可能無法被諸如傳感器或機(jī)械臂之類的硬件設(shè)備很好地執(zhí)行，從而顯著影響智能體的任務(wù)效率。在代理和硬件設(shè)備之間設(shè)計(jì)專用接口或轉(zhuǎn)換機(jī)制是可行的。但是，它可能會(huì)對(duì)系統(tǒng)的可重用性和簡(jiǎn)單性帶來挑戰(zhàn)。

????為了實(shí)現(xiàn)這一飛躍，智能體需要具有增強(qiáng)的環(huán)境泛化能力。為了無縫地融入真實(shí)的物理世界，他們不僅需要理解和推理隱含意義的模糊指令，還需要具備學(xué)習(xí)和靈活應(yīng)用新技能的能力。此外，在處理一個(gè)無限開放的世界時(shí)，主體的有限語境也帶來了重大挑戰(zhàn)。這就決定了Aget能否有效地處理來自世界的海量信息并順利地運(yùn)行。

????最后，在模擬環(huán)境中，代理的輸入和輸出是虛擬的，允許無數(shù)次的嘗試和錯(cuò)誤嘗試。在這種情況下，對(duì)錯(cuò)誤的容忍度很高，不會(huì)導(dǎo)致實(shí)際損害。然而，在物理環(huán)境中，行為人的不當(dāng)行為或錯(cuò)誤可能會(huì)對(duì)環(huán)境造成真實(shí)的、有時(shí)甚至是不可逆的危害。因此，非常需要適當(dāng)?shù)姆ㄒ?guī)和標(biāo)準(zhǔn)?！拔覀冃枰P(guān)注代理人在做出決策和采取行動(dòng)時(shí)的安全性，確保他們不會(huì)對(duì)真實(shí)的世界構(gòu)成威脅或傷害。

????人工智能代理中的集體智慧。是什么魔法驅(qū)動(dòng)著我們的智慧？事實(shí)上，這并不是什么魔法。正如馬文·明斯基在《心靈的社會(huì)》中雄辯地表達(dá)的那樣，智力的力量源于我們巨大的多樣性，而不是任何單一的、完美的原則。通常情況下，個(gè)人做出的決定可能缺乏大多數(shù)人做出的決定的精確性。

????集體智慧是一種共享或群體智慧，是一個(gè)將許多人的意見整合到?jīng)Q策中的過程。它是由各種實(shí)體之間的合作和競(jìng)爭(zhēng)產(chǎn)生的。這種智能體現(xiàn)在細(xì)菌、動(dòng)物、人類和計(jì)算機(jī)網(wǎng)絡(luò)中，以各種基于共識(shí)的決策模式出現(xiàn)。創(chuàng)造一個(gè)代理人社會(huì)并不一定保證隨著代理人數(shù)量的增加而出現(xiàn)集體智慧。有效協(xié)調(diào)各個(gè)代理人對(duì)于減輕“群體思維"和個(gè)人認(rèn)知偏見，使合作和提高集體內(nèi)的智力表現(xiàn)。通過利用智能體社會(huì)中的通信和進(jìn)化，可以模擬生物社會(huì)中觀察到的進(jìn)化，進(jìn)行社會(huì)學(xué)實(shí)驗(yàn)，并獲得可能促進(jìn)人類社會(huì)發(fā)展的見解。

????代理即服務(wù)/基于LLM的代理即服務(wù)。隨著云計(jì)算的發(fā)展，XaaS(一切即服務(wù))的概念引起了廣泛關(guān)注。這種商業(yè)模式的可用性和可擴(kuò)展性為中小企業(yè)或個(gè)人帶來了便利和成本節(jié)約，降低了使用計(jì)算資源的障礙。例如，他們可以租用云服務(wù)平臺(tái)上的基礎(chǔ)設(shè)施，而無需購買計(jì)算機(jī)器和建立自己的數(shù)據(jù)中心，節(jié)省了大量的人力和資金。這種方法被稱為基礎(chǔ)設(shè)施即服務(wù)(1aaS)。同樣，云服務(wù)平臺(tái)也提供基礎(chǔ)平臺(tái)（平臺(tái)即服務(wù)，PαaS)和特定業(yè)務(wù)軟件（軟件即服務(wù)，SaaS)等。

????隨著語言模型規(guī)模的擴(kuò)大，它們通常對(duì)用戶來說是黑盒子。因此，用戶通過AP構(gòu)造查詢模型的提示這種方法被稱為語言模型即服務(wù)(LMaaS)。同樣，由于基于LLM的代理比LLM更復(fù)雜，并且對(duì)于中小型企業(yè)或個(gè)人來說在本地構(gòu)建更具挑戰(zhàn)性，因此擁有這些代理的組織可以考慮將其作為服務(wù)提供，稱為代理即服務(wù)(AaaS)或基于LLM的代理即服務(wù)(LLMAaaS)。與其他云服務(wù)一樣，AαaS可以為用戶提供靈活性和按需服務(wù)。然而，它也面臨著許多挑戰(zhàn)，例如數(shù)據(jù)安全和隱私問題，可見性和可控性問題以及云遷移問題等。此外，由于基于LLM的代理的獨(dú)特性和潛在功能，在將其作為服務(wù)提供給客戶之前，需要考慮其魯棒性，可信度和與惡意使用相關(guān)的問題。