小伙伴們！我來兌現(xiàn)承諾啦～

ps：接下來期待什么內(nèi)容，歡迎在評論區(qū)留言！

今天，我們就來聊聊大模型 Agent。

最近這幾個月，Agent 這一概念可謂火出天際，從 AutoGPT 一周 6 萬 star 刷新 Github 漲星速度記錄開始，AI Agent 項目如雨后春筍開始在各大技術(shù)平臺涌現(xiàn)。

▲AutoGPT Github Star 數(shù)

AI Agent 不斷被冠以“大模型下半場”，“軟件 2.0（ Software 2.0）”等等稱號，連 OpenAI 的創(chuàng)始成員 Andrej Karpathy 也在十月份的黑客馬拉松演講中也表示：

相比模型訓練方法，OpenAI 內(nèi)部目前更關(guān)注 Agent 領(lǐng)域的變化，每當有新的 AI Agents 論文出來的時候，內(nèi)部都會很興奮并且認真地討論。

那么，所謂 AI Agent 到底是什么？它的源其何處？魔力又是什么呢？

AI Agent 源自何處

首先，Agent，Agent，這個在英文中過于常用的概念出現(xiàn)在 AI Agent 的語境里，到底代表著什么概念？讓我們先來對 “Agent” 這個詞做一個詞源追溯。

Agent 的詞根 ag- 來自于拉丁語動詞 agere 意指做和行動，與詞根 act- 一脈同源，加之形容詞后綴 -ent 表示“正在做事的人”，其直譯應為“做事者”，換言之，Agent 的本意代指“做事的主體”，“可以做事之物”，強調(diào)“做”這一動作。

相較于具有“主體性”的人，Agent 更多具有一種“擬主體性”，即帶有模仿人類主觀能動性的去主動的有目的地進行“計劃”，“組織”，“實施”，“學習”等直至完成一項工作或一件事情。?回到 AI 研究的語境之中，相反于傳統(tǒng)機械或軟件被動的“給予輸入——>做出輸出”的模式，Agent 由于更加強調(diào)自主的發(fā)現(xiàn)問題、確定目標、構(gòu)想方案、選擇方案、執(zhí)行方案、檢查更新的特性，因此可以被認為是一類擁有“自主智能的實體”，而被廣泛稱之為智能體。

在早期人工智能的研究中，對人工的智能進行抽象形成的概念大致上是一類“利用傳感器對周圍環(huán)境做出感知，依據(jù)感知到的信息做出決策，并利用行動裝置做出行動”的人工實體，因此也被稱為 AI Agent，AI Agent 擁有眾多不同的類型，包含反射型、模型式，目標型等等，其中最出名也是最火出圈的可能就是強化學習的范式，依據(jù) reward 指導，根據(jù)狀態(tài)價值函數(shù)或動作價值函數(shù)的更新而構(gòu)建的學習型智能體。

▲強化學習范式

區(qū)別于更加擅長于做“感知”的傳統(tǒng)深度學習的方法，Agent 的重心其實更加落子于“行動”也就是“決策”之上，盡管強化學習領(lǐng)域以 PPO 為代表的策略梯度方法在游戲的許多領(lǐng)域取得了亮眼的成績，但是基于各種特定神經(jīng)網(wǎng)絡架構(gòu)的策略網(wǎng)絡沒有足夠的“泛化”能力，無法實現(xiàn)通用的智能決策，同時，強化學習范式似乎有時候也要求著太多對“智能體”而言完全不合理的“試錯”，Agent 本身似乎完全是一張白紙而沒有任何“先天知識”。

▲喬姆斯基的轉(zhuǎn)換生成語法說強調(diào)具有先天的普通語法

GPT-4為AI Agent帶來轉(zhuǎn)機

“通用性”與“先天知識”的結(jié)合似乎在今年 3 月 OpenAI 發(fā)布 GPT-4 后迎來轉(zhuǎn)機，大規(guī)模語言模型（LLMs）的強大能力使得其可以輕松處理多個來自完全截然不同的領(lǐng)域的任務，同時其前身“預訓練”的范式又似乎帶有一定的“先天知識”而不必后天盲目的試錯。

因此使用 LLMs 作為 AI Agent 中的 Agent 成為一條極其有希望成功實現(xiàn)“自主智能體”的技術(shù)路徑，從而延申出這半年來形形色色的基于 LLMs 的 AI Agent。

▲大模型智能體飛速發(fā)展

事實上，當大家開始思考“大模型除了 Chat 以外還有什么應用”時，便已經(jīng)有了基于大模型的 Agent 的想法。四月份我們報道過 CMU 發(fā)布的一篇使用大模型作為“自主科研智能體”的論文《又一恐怖技能！卡耐基梅隆大學發(fā)布超強智能體，炸翻科研圈》，在其中大模型充當一個“核心協(xié)調(diào)器”的作用，向上對接人類的以 Prompt 為形式的輸入，向下則以網(wǎng)絡搜索，Python 腳本等為媒介溝通互聯(lián)網(wǎng)或自動化實驗儀器等工具，從而可以自主完成從實驗設計、實驗規(guī)劃到執(zhí)行復雜的科學實驗等的一整套流程。

▲基于大模型的科研智能體架構(gòu)

基于類似這樣自主科研智能體的形形色色的大模型垂直領(lǐng)域的 AI Agent 論文或工作，也是在四月份，清華大學瞄準“大模型使用工具”，發(fā)布了一篇“工具學習綜述”：《清華發(fā)布工具學習框架，讓ChatGPT操控地圖、股票查詢，賈維斯已來？》，在這篇綜述中，清華大學提出了一個叫“Tool Learning”的概念，將之前的各種垂直領(lǐng)域的智能體放置于一個統(tǒng)一的框架之下，其中大模型仍然作為“控制器”，用于完成針對人類的“意圖識別”，針對可選工具的“組織規(guī)劃”，并且引入了“感知器”向大模型報告“執(zhí)行結(jié)果”，當出現(xiàn)錯誤時指導大模型完成“自主糾錯”。

▲工具學習框架

而如果把眼界再打開，不局限于“工具使用”，而是將 AI Agent 建模為一個人腦智能與人工智能協(xié)同的過程，面對一個“任務”，由人類站在高點描述一個“任務目標”，并將完成這一任務的工作交予 Agent，而 AI 接受目標并自主的進行“感知環(huán)境”，“形成記憶”，“完成規(guī)劃”，“決策行動”，“觀察糾錯”等一系列以任務目標為導向的行動，那么就形成了諸如 “AutoGPT”，“BabyGPT” 等基于 LLMs 的 AI Agent 模式。

▲基于 LLMs 的自主 AI Agent 模式

與其說基于大模型的 AI Agent 是一種“新技術(shù)”，不如說基于大模型的 AI Agent 是一套面向 LLMs 的“新的管理方法”，類似“思維鏈”等技術(shù)，大模型 Agent 通過一整套流程化，機制化的方式促使大模型模擬人類智能的決策過程，以代替人類完成一些具體的任務。

▲AutoGPT 核心代碼

以 BabyAGI 的流程圖為例，如下圖所示，作為 User 的人類首先向 Agent 以“自然語言”的形式提供任務與目標的描述，放置于任務隊列之中（1.），任務優(yōu)先級 Agent 用于對任務隊列任務列表、執(zhí)行順序等進行管理（5.）（6.），執(zhí)行 Agent 不斷從任務隊列在提取任務（2.），向上聯(lián)系具體的任務目標，向下聯(lián)系具體可操作的如“實驗設備”，“功能API”，“常用工具”等工具庫，用于完成對任務的操作。

在執(zhí)行過程中，執(zhí)行 Agent 維護一個記憶庫 Memory，儲存當下此輪的任務信息，查詢歷史完成的任務信息。在操作完成后，執(zhí)行 Agent 向任務創(chuàng)建 Agent 發(fā)送任務完成結(jié)果（3.），根據(jù)任務完成結(jié)果，任務創(chuàng)建 Agent 向任務隊列增添為完成前項任務所必須先完成的“前置任務”，直到此項任務結(jié)束。

▲BabyAGI 流程圖

如果對上述框架做一個抽象與總結(jié)，參考人大發(fā)布的 AI Agent 綜述，一個 AI Agent 可以被認為由以下四部分組成：

• Profile：表示 Agent 屬性

• Memory：存儲歷史信息

• Planning：生成計劃決策

• Action：執(zhí)行計劃決策

各種不同的 AI Agent 的差異與區(qū)別也幾乎都從上述四部分展開，譬如在 Profiling 模塊，不同的 AI Agent 可以選擇不同的角色定義方式，如手動定義“假設你是一個學生”，或者采用大模型對 Agent 角色進行生成。在 Memory 模塊，是否區(qū)分長期記憶與短期記憶，記憶存儲方式（自然語言？數(shù)據(jù)庫？嵌入？）等也構(gòu)成了不同的 AI Agent 的特征。在 Planning 模塊，有無反饋？采用思維鏈 CoT？思維樹 ToT？思維圖 GoT？在 Action 模塊，單輪互動還是多輪互動，如何定義 Agent 的動作空間，是否使用外部工具，如果定義外部工具集等等也都是 AI Agent 前沿的研究方向。

▲大模型 Agent 框架

基于 Prompt 的與大模型互動的方式更像是靜態(tài)的“輸入-輸出”，而 AI Agent 為大模型提供了一個進行“動態(tài)決策”的框架，使得大模型開始有能力處理任務更加復雜化，情境更加多樣化的決策，為大模型從“語言”邁向“真實世界”提供了一個堅實的基礎(chǔ)。

▲LangChain 組件

相應的，類似 LangChain 的大模型開發(fā)框架應運而生隨之爆火，LangChain 作為一個面向大模型的“管理框架”，連接了大模型、Prompt 模板、鏈等多種組件，基于 LangChain，香港大學余濤組發(fā)布了開源的自主智能體 XLANG Agent（香港大學余濤組推出開源XLANG Agent！支持三種Agent模式），在介紹的博客里，余老師如是描述大模型 Agent：

想象一下這個過程，將以日常語言為載體的人類的指示或問題轉(zhuǎn)化為機器可以理解的動作和代碼，隨后機器在特定的環(huán)境中執(zhí)行這些動作，從而改變該環(huán)境的狀態(tài)。這些變化被觀察、分析，并進而啟動與人類下一步交互的循環(huán)

▲XLANG Agent 進行多輪互動

在 XLANG Agent 的基礎(chǔ)上，余濤老師組進一步優(yōu)化非專家用戶的使用體驗和應用設計，并將 Agent 平臺化，便形成了十月份我們報道的 OpenAgents 《開源智能體來啦！港大團隊發(fā)布OpenAgents，可以搞數(shù)據(jù)分析、聊天、支持200+插件》，OpenAgents 的出現(xiàn)也開始讓 Agent 的發(fā)展朝向全面、透明與可部署化。

▲OpenAgents 平臺圖

類似的，清華與面壁智能發(fā)布的 XAgent，通過強化“子問題分解”與“人機協(xié)作”，在 AutoGPT 的基礎(chǔ)上向著真實應用前進了一大步，并在眾多實際任務測試中全面超越 AutoGPT，拓展了 Agent 能力的邊界。

▲XAgent 超越 AutoGPT

事實上，如果類比于傳統(tǒng)軟件工程管理與面向 AI 的軟件工程管理（MLops），Agent 的出現(xiàn)進一步模糊了軟件作為一個輸入輸出系統(tǒng)“軟件內(nèi)”與“軟件外”的邊界。由于 Agent 可以不斷與與外部環(huán)境發(fā)生互動，不斷的學習修正自己的任務規(guī)劃，因此當 AI Agent 出現(xiàn)以后，盡管犧牲了一些可靠性，但是這類應用的“靈活性”又邁上了一個新的臺階。

▲智能水平與管理層級

這種躍升將直接導致管理層級（自上而下決策層——>控制層——>執(zhí)行層——>操作層）中越來越多的任務可以被 AI “自動化”了，如果說傳統(tǒng)的自動化機械停留在讓決策者在基層操作層執(zhí)行時“自動化”，而以深度學習為代表的人工智能方法則可以再上一層完成任務執(zhí)行方案生成時的方案選擇“自動化”，那么以大模型 Agent 為代表的新一代人工智能方法則真正實現(xiàn)了控制層一整套決策流程的“自動化”。而這種層面的“自動化”恰恰帶來了 Software 2.0 的曙光，軟件開發(fā)將變成完全的“自動化工廠”，軟件層面的“大規(guī)模定制”有可能到來。

▲AI 應用的五層基石

Seednapse AI 的創(chuàng)始人曾給了 AI 應用的五層基石，如果說之前的類似 AutoGPT 的智能體屬于自主智能體（Autonomous Agent），其核心思想是“像人類智能一樣去解決問題”，那么以斯坦福小鎮(zhèn)為代表的生成智能體（Generative Agent）可能帶來 Multi-Agent 的曙光，區(qū)別于“像人類智能一樣去解決問題”，生成智能體的核心在于“像社會智能一樣去解決問題”。在斯坦福 25 人小鎮(zhèn)的論文中構(gòu)建了生成智能體的架構(gòu)如下圖所示：

▲生成智能體架構(gòu)

通過使用一種“記憶—計劃—反思”驅(qū)動的智能體形態(tài)，以“社會事件”為動力源使得 Agent 間相互互動，直至模擬整個社會的分工體系。在這種生成智能體的思想下，一群導演與計算機工程師踏出了生成智能體應用的第一步《AI自導自演的電視劇，每個角色都是一個大模型，斯坦福25人小鎮(zhèn)精神續(xù)作》，嘗試制作了一部完全由大模型自導自演、定制化的電視劇集 Westland Chronicles

▲Westland Chronicles 劇照

而從實驗性質(zhì)的模擬向下，類似 MetaGPT 等的多智能體 AI 框架逐漸誕生，通過模擬不同角色之間的“合作”，最終實現(xiàn)“生成一個包含分析和設計的示例大約需要0.2美元（GPT-4 API的費用），而一個完整的項目大約需要2.0美元。”

▲MetaGPT 框架

回到最開始，AI Agent 作為 “OpenAI 發(fā)力的下一個方向”，背后蘊含了一個天文數(shù)字量級的市場。前兩天爆出 OpenAI 已經(jīng)在進行灰度測試，未來很快將放出一個可以使用所有工具的 GPT-4（All Tools）版本，真正成為一個“理解一切，處理一切，生成一切”的超級統(tǒng)一智能體（重磅！GPT-4又進化了！畫圖、插件、代碼等能力被整合，超級智能體來了）

▲OpenAI 更新預告

當這樣一種 AI Agent 出現(xiàn)，它對生活的改變很有可能不止于 ChatGPT 簡單的 Chat，而是滲透入各行各業(yè)，在只要能用到大模型的地方就可以建立起相應的 Agent，各種科幻電影中的人機協(xié)作有可能真的會走進現(xiàn)實。

▲鋼鐵俠與賈維斯

當然，目前這樣一種 AI Agent 的技術(shù)落地尚處于“嬰兒時期”，如同 BabyGPT 的名字那樣，目前的 AI Agent 的技術(shù)還遠遠無法匹配我們宏大的想象。試錯與學習能力不足、復雜推理能力不強、精確決策能力不夠、響應時間過長、計算資源要求過高等等由限制著大模型 AI Agent 成為真正的“賈維斯”，但是，未來已來，引用迪迦奧特曼的主題曲《奇跡再現(xiàn)》的歌詞：“新的風暴已經(jīng)出現(xiàn)，怎么能夠停滯不前……”

ps：別忘了，想看什么原創(chuàng)內(nèi)容，歡迎在評論區(qū)留言哦！等小瑤翻牌子～