「十項全能」的 ChatGPT ，用起來感受如何？

之前，作為 ChatGPT Plus 用戶，如果你集齊下面這五個模式，就會成為別人羨慕的對象。

但現(xiàn)在，人們更加期盼的，是下面這個提示的出現(xiàn)：

這個提示，意味著你的 GPT-4 已經(jīng)不再是「一專」（只能使用某一模式），而是「多能」（根據(jù)需要自動調(diào)用不同模式的功能）。

例如你可以讓 ChatGPT 看到一幅圖（原本的基礎(chǔ)模式），然后讓它自動理解總結(jié)圖片的內(nèi)容，并且要求它繪制出類似的圖片（原本的 DALLE）模式。當然，你還可以讓它自動編程（原本的 Advanced Data Analysis 模式）或者訪問網(wǎng)絡(luò)（原本的 Browse with Bing 或者插件模式）。

這樣一來，用戶的想象力就可以變成特別有趣有用的實踐過程。例如王佩老師，就讓 ChatGPT 繪制簡筆畫。他對繪制結(jié)果很滿意。

見賢思齊，于是我又把自己的微信頭像傳上去了。要求 ChatGPT (GPT-4 All Tools）：

畫成皮克斯風(fēng)格

于是，我獲得了這樣的圖像：

呃，除了人物不像我，以及背景多了一只狐貍，我沒有啥可抱怨的……

同時生成的，還有另外一幅作品。咱們也放大看看。

可這…… 也太不像我了啊。于是，我提出了這樣的要求：

畫成皮克斯風(fēng)格，注意人物一定要像。

這次 GPT-4 全模式 (All Tools) 的繪圖結(jié)果是這樣的：

這個…… 你要非得說像我，我無話可說。

我查看了對應(yīng)的提示詞：

Photo of a cheerful man outdoors, wearing a light blue polo shirt and a backpack. He is Asian, with short black hair, smiling warmly with a backdrop of mountains covered with green and reddish trees under a cloudy sky. The image should be transformed into a Pixar-style animation, maintaining the likeness and expression of the person, but with the enchanting and whimsical characteristics typical of Pixar animations.

對應(yīng)的翻譯為：

一張快樂男子在戶外的照片，他穿著淺藍色的 Polo 衫，背著背包。他是亞洲人，有短黑發(fā)，背景是山脈，山上覆蓋著綠色和紅色的樹木，天空多云。他的笑容溫暖。這張圖片應(yīng)該被轉(zhuǎn)化為皮克斯風(fēng)格的動畫，保持人物的相似性和表情，但具有皮克斯動畫典型的迷人和異想天開的特點。

我旋即明白了，圖片畫得不像我，就是 ChatGPT 識圖后總結(jié)提示詞的原因。這里只描述為「亞洲人」、「快樂男子」和「短黑發(fā)」，至于臉型、五官之類的，絲毫沒有涉及，那當然沒有辦法「完美復(fù)刻」了。

我在視頻中提到了這個問題。有觀眾提示我說可能是在上傳人像的時候，ChatGPT自動做了面部模糊化處理以保護人物肖像權(quán)，我覺得非常有道理?；仡^我準備找個卡通頭像上傳上去試試看。

看完了這個有趣的例子，咱們該講講嚴肅的事兒了 —— 如何利用 GPT-4 全模式 (All Tools) 幫助你更好地學(xué)習(xí)和工作？

學(xué)習(xí)

咱們先從一個最常見的場景開始 —— 上課的時候，看到課件里面的英文不會，該怎么辦？

這時候，你可以拍張照或者截屏，讓 GPT-4 全模式 (All Tools) 幫助你來翻譯。上面這張幻燈截圖，它的翻譯如下：

描述了使用大語言模型（LLM）時的提示（prompting）能做什么。圖片中提到，如果給一個剛剛畢業(yè)的大學(xué)生一些指導(dǎo)，他們是否能夠完成任務(wù)。為了更加清晰明了，假設(shè)情況如下：

沒有互聯(lián)網(wǎng)或其他資源的訪問權(quán)限

對你的公司 / 業(yè)務(wù)沒有特定的培訓(xùn)

沒有完成先前任務(wù)的記憶

每次都會得到一個不同的新畢業(yè)的大學(xué)生

圖片旨在探討在沒有額外資源和指導(dǎo)的情況下，一個新畢業(yè)的大學(xué)生是否能夠根據(jù)給定的指導(dǎo)完成任務(wù)。

你可能對此不屑一顧 —— 這簡單的翻譯功能，我手機上的 XX 應(yīng)用，早就有了。

沒錯，但是 ChatGPT 可不僅僅會翻譯哦。你看到一頁幻燈，如果對其中內(nèi)容有不清楚的地方，可以立即呼喚你的這個「私人助教」來幫忙總結(jié)和解答。例如下面這頁幻燈，是吳恩達老師在新課程 Generative AI for everybody 中對「監(jiān)督學(xué)習(xí)」應(yīng)用的總結(jié)。

我截圖發(fā)給 GPT-4 全模式 (All Tools) ，要求用中文總結(jié)圖中內(nèi)容。

這是 GPT-4 的回答：

這張圖片是 Andrew Ng 在講解監(jiān)督學(xué)習(xí)的應(yīng)用。圖片中列出了不同的輸入、輸出和相應(yīng)的應(yīng)用場景。例如，輸入可以是電子郵件，輸出是判斷這封郵件是否為垃圾郵件，應(yīng)用場景是垃圾郵件過濾。其他的應(yīng)用還包括在線廣告、自動駕駛車輛的其他車輛位置識別、醫(yī)療診斷、視覺檢測、語音識別和餐廳評論的情感分析等。每個應(yīng)用都涵蓋了將輸入數(shù)據(jù)（如圖像、廣告和用戶信息、音頻記錄等）轉(zhuǎn)換為有意義輸出（如診斷、缺陷檢測、文本轉(zhuǎn)錄等）的過程。

你看，ChatGPT 打通各個模式之后，拿來當助教非常合適，講解耐心不厭其煩。更妙的是，你不僅可以讓它識別幻燈幫你講解，還能要求它立即給你寫出對應(yīng)例子的程序代碼來。

編程

例如我剛剛聽完 GPT-4 全模式 (All Tools) 的總結(jié)，依然對監(jiān)督學(xué)習(xí)沒有形象的概念。于是我下面的提示語為：

就找上面的一個例子，給我寫一段監(jiān)督學(xué)習(xí)的 Python 代碼

ChatGPT 就立即開始干活兒了。

在你看到代碼之后，是不是對監(jiān)督學(xué)習(xí)的模型訓(xùn)練流程概念理解更加清晰了呢？有了這種快速支援，相信你學(xué)東西會更加扎實，疑問也能更及時得到解決。

況且你不要忘了，GPT-4 全模式 (All Tools) 還包含了 Advanced Data Analysis 模式，也就是可以把程序直接作用在數(shù)據(jù)集上面，幫助你實驗，甚至解決實際的問題。下面我們就來看看如何用 ChatGPT 來「看到」實際的數(shù)據(jù)，并且進行分析。

數(shù)據(jù)分析

我這里舉的例子，也來自于吳恩達老師的新課。他提到了很有意思的問題 ——LLM 對結(jié)構(gòu)化數(shù)據(jù)處理不好。

我覺得這個觀察很有意思，但是將信將疑，于是立即就把數(shù)據(jù)截取出來嘗試。我問 ChatGPT ：

這個表格里面有對應(yīng)的面積和價格，那么 900 sqft 的房子，對應(yīng)的價格是多少？請一步步思考，并且詳細說明你的解題過程

下面是 ChatGPT 的回答：

你看，要公式有公式，要代碼有代碼。數(shù)據(jù)齊全，分析清晰。只可惜，這個線性插值計算方法并不完美，因為利用數(shù)據(jù)太少了。為了幫助 ChatGPT 改進結(jié)果，咱們還可以這樣來追問：

好，但是你能否充分利用上全部數(shù)據(jù)來建模并且測算呢？

ChatGPT 旋即給了答案。

如果你希望了解 ChatGPT 如何計算，還可以點開被折疊的工作區(qū)，查看對應(yīng)代碼。

你看，原先表格中的所有數(shù)據(jù)，確實都被使用了進來。但是，這個計算的結(jié)果是否正確？希望你能夠檢驗一下，然后在留言區(qū)給出自己的判定答案。

論文閱讀

下面這個功能，更是很多小伙伴期待已久的 —— 你可以直接把 PDF 格式的文檔扔給 ChatGPT 了。GPT-4 全模式 (All Tools) 可以自動識別其中的內(nèi)容，并且進行分析和回答你提出的問題。

例如，我從 arxiv.org 下載了 MemGPT 論文的全文。

然后，我把它扔給 GPT-4 全模式 (All Tools) ，提出的要求為：

給我介紹一下這篇文章的亮點

這是 ChatGPT （速度很快）讀過文章后，給出的結(jié)果。

我們讓 ChatGPT 簡單翻譯一下前面幾段：

論文《MemGPT: 朝著作為操作系統(tǒng)的 LLMs》介紹了一種旨在克服當前大型語言模型（LLMs）的有限上下文窗口限制的新系統(tǒng)。以下是其亮點的詳細說明：

1.?虛擬上下文管理：作者引入了一種技術(shù)，通過借鑒傳統(tǒng)操作系統(tǒng)中的分層存儲系統(tǒng)，擴展了LLMs的可用上下文范圍，超越了標準固定長度上下文窗口的限制。這種技術(shù)被稱為虛擬上下文管理，通過在快速和慢速存儲層之間的數(shù)據(jù)移動，實現(xiàn)了更大內(nèi)存的幻象。?

2.?MemGPT系統(tǒng)：基于這種技術(shù)，派生出了MemGPT系統(tǒng)，它利用分層存儲結(jié)構(gòu)和中斷來管理LLM、存儲器和用戶之間的數(shù)據(jù)流和控制。該系統(tǒng)可以在任務(wù)進行過程中調(diào)整上下文，更有效地利用有限的上下文。?

3.?在文檔分析和對話代理方面的性能：論文展示了MemGPT在文檔分析和多會話聊天領(lǐng)域的增強性能。它能夠分析大量文檔并保持長期交互，超越了LLM的上下文窗口限制。?

很好，這至少證明 ChatGPT 看懂了 PDF 論文全文內(nèi)容。你也可以就文本內(nèi)容提出問題，讓它來回答。不過類似的內(nèi)容，我在講 Chatdoc 的時候都演示過了。這回咱們要充分利用它的全模式功能，搞點兒新花樣。

我要求：

把上述內(nèi)容，用圖展示出來，要求讓一個中學(xué)生能夠看懂

于是 ChatGPT 這樣繪制：

我們放大一下第一張圖。

這張圖非常有趣。它知道論文主角是一個機器大腦，要解決的問題是記憶體的限制。圖中主體設(shè)計成一種類似操作系統(tǒng)的架構(gòu)，上面是個戴學(xué)士帽的機器人。聯(lián)接的小圖都是與上下文、記憶體、檢索能力相關(guān)，還提到了「快速」等特性。另外還有很多相關(guān)的文字作為講解介紹。

當然了，這個圖的毛病，也是顯而易見的。例如說里面出現(xiàn)了很多奇怪的單詞，都像是半文盲寫的 —— 有很多拼寫錯誤。不過你不用擔(dān)心，這只是個開始。你要相信 LLM 的演進速度。

繪圖做完了，咱們嘗試一下表格數(shù)據(jù)的讀取。這里我選擇了 Table 2 的內(nèi)容作為樣例。

我要求 ChatGPT 來總結(jié)其內(nèi)容，并且進行可視化：

這里咱們看看其操作過程的細節(jié)。

首先， ChatGPT 確實在上傳的 PDF 里面，找到了表格 2 對應(yīng)的位置和內(nèi)容。

然后，ChatGPT 進行了編程計算，最終給出了下圖的結(jié)果。

初看這張圖，你可能會很不以為然。沒錯，這張圖確實畫錯了。F1, Precision 和 Recall 如果真的這么慘不忍睹，也就沒有匯報的必要了。但是，這錯誤也是有原因的。

原始論文中，對 Accuracy （準確率）和其他三個指標，表現(xiàn)形式就不一樣 —— 前者是百分數(shù)，后者是小數(shù)。目前 ChatGPT 對于同一表格不同列數(shù)據(jù)這種轉(zhuǎn)換，還沒有做到靈活自如，因此才會出這樣的紕漏。

但是你看到，不論是模型類型、圖例說明和對應(yīng)數(shù)據(jù)，ChatGPT 在讀取表格的時候，確實已經(jīng)盡可能做到了一一對應(yīng)。因此，只要你在后續(xù)對話中稍加提示，繪圖效果就會大不一樣。

所以，現(xiàn)在的 GPT-4 全模式 (All Tools) 確實是可以「看到」圖和表，這對于我們來說，意義很大 —— 論文中出現(xiàn)的數(shù)據(jù)，你至少可以更為靈活自如地進行二次分析與驗證了。

小結(jié)

本文我為你介紹了自己使用 GPT-4 全模式 (All Tools) 來輔助工作和學(xué)習(xí)的一些心得體會?？傮w來說，ChatGPT 全模式打通之后，可以更方便調(diào)用各種「藝能」。它可以幫助你更快速理解消化新信息、按照你的個性化要求給出樣例，根據(jù)上下文做出總結(jié)問答，并且?guī)湍氵M行自動數(shù)據(jù)分析。希望這些功用的分享，可以幫助你更高效地完成任務(wù)，獲得新知。

祝（更強悍的）AI 工具使用愉快！

點贊 +「在看」，轉(zhuǎn)發(fā)給你身邊有需要的朋友。收不到推送？那是因為你只訂閱，卻沒有加星標。

歡迎訂閱我的小報童付費專欄，每季度更新不少于10篇文章。訂閱一整年價格優(yōu)惠。

如果有問題咨詢，或者希望加入社群和熱愛鉆研的小伙伴們一起討論，訂閱知識星球吧。不僅包括小報童的推送內(nèi)容，還可以自由發(fā)帖與提問。之前已經(jīng)積累下的帖子和問答，就有數(shù)百篇。足夠你好好翻一陣子。知識星球支持72小時內(nèi)無條件退款，所以你可以放心嘗試。

若文中部分鏈接可能無法正常顯示與跳轉(zhuǎn)，可能是因為微信公眾平臺的外鏈限制。如需訪問，請點擊文末「閱讀原文」鏈接，查看鏈接齊備的版本。?

延伸閱讀

• 如何用 ChatGPT 的 Advanced Data Analysis 幫你采集數(shù)據(jù)？

• 如何用 ChatGPT 幫你自動分析數(shù)據(jù)？

• 如何用 ChatGPT 做數(shù)據(jù)進階可視化？（三維交互圖與動圖視頻）

• 筆記本上就能跑的 LLM 好使嗎？GPT4ALL 體驗

• 如何讓 ChatGPT 更懂你？新功能 Custom Instructions 嘗試