Microsoft 的工程師計劃于 2024 年 11 月在 Azure 上部署 Orion (GPT-5)。雖然這一版本不會向公眾開放，但其上線被視為人工智能領(lǐng)域的一個重要里程碑，并將產(chǎn)生深遠的影響。

GPT-5 真的要來了

OpenAI 在 2023 年 3 月左右宣布了 GPT-5 的開發(fā)計劃，這一消息引起了廣泛關(guān)注。一些知名人士簽署了暫停開發(fā)的請愿書，其中包括 AI 領(lǐng)域的先驅(qū) Yoshua Bengio（圖靈獎得主）、AI 研究人員 Stuart Russell 和 Gary Marcus、Apple 聯(lián)合創(chuàng)始人 Steve Wozniak、前美國總統(tǒng)候選人 Andrew Yang，以及原子科學(xué)家公報主席 Rachel Bronson（反對可能終結(jié)人類的核戰(zhàn)爭）。特斯拉、Twitter 和 SpaceX 的 CEO 及 OpenAI 的前聯(lián)合創(chuàng)始人 Elon Musk 也參與了簽署，Stability AI 的 CEO Emad Mostaque 亦在其中。

雖然 GPT-4 在 AI 能力上取得了顯著進步，但仍存在一些局限性。它并未導(dǎo)致大規(guī)模的失業(yè)或預(yù)示人類的滅亡，因此可能表明簽署請愿書的人存在誤解。

自從 GPT-4 發(fā)布以來已經(jīng)過去一年多，對于代號為 Orion 的 GPT-5 的擔(dān)憂逐漸減弱?，F(xiàn)在，Orion 終于準備向全球推出。與以往不同的是，它不會通過 ChatGPT 向公眾發(fā)布。OpenAI 計劃首先向與其密切合作的公司提供早期訪問權(quán)限，以便這些公司開發(fā)自己的產(chǎn)品和功能。雖然在內(nèi)部，Orion 被視為 GPT-4 的后繼者，但尚未確定是否會正式命名為 GPT-5。

有報告指出，GPT-5 的能力將提升 100 倍，但具體的“能力”細節(jié)尚不明確。然而，它仍將面臨一些無法克服的限制。

首先，讓我們探討最新 GPT 版本中持續(xù)存在的問題。

GPT-4 的局限性

1. 語言限制：盡管 GPT-4o 在多語言能力上有了提升，但在處理非英語語言時，尤其是那些高質(zhì)量數(shù)據(jù)匱乏的語言時，仍然存在挑戰(zhàn)，導(dǎo)致其響應(yīng)和翻譯效果不佳。
2. 數(shù)據(jù)質(zhì)量問題：一個突出的擔(dān)憂是訓(xùn)練數(shù)據(jù)的質(zhì)量不盡如人意，特別是在中文等語言中，這可能導(dǎo)致模型產(chǎn)生不準確或虛構(gòu)的回應(yīng)，因為低質(zhì)量內(nèi)容廣泛存在。
3. 事實準確性：即便是在明確的提示下，模型有時也可能提供錯誤或誤導(dǎo)性的信息，這引發(fā)了對其可信度和可靠性的質(zhì)疑。
4. 部分指令遵循：當用戶給出冗長的指令集時，即使這些指令都很清晰簡單，模型可能只完成部分請求。對于 AI 來說，模型可能會完成它從訓(xùn)練中識別的部分，但可能會跳過或簡化其他部分。在收到反饋后，模型可能會修正遺漏的部分，但同時可能忽略之前正確完成的部分。
5. 資源消耗巨大：訓(xùn)練和運行 GPT-4o 這樣的大型語言模型需要大量計算資源，這不僅限制了模型的可及性，還因為高能耗引發(fā)了環(huán)境方面的擔(dān)憂。
6. 社會偏見：GPT-4o 可能無意中反映出訓(xùn)練數(shù)據(jù)中的偏見，導(dǎo)致產(chǎn)生不公平甚至歧視性的輸出，這可能影響公眾觀點并加劇現(xiàn)有社會問題。
7. 擬人化傾向：使用“推理”和“理解”等術(shù)語來描述 AI 模型可能會導(dǎo)致不切實際的期望和誤解。雖然這可以幫助消費者更好地理解 LLMs，但必須認識到這些模型實際上是通過模式預(yù)測文字，而非像人類一樣真正理解或感知提示。
8. 紅隊測試不足：目前由 70 多名專家組成的團隊可能不足以充分應(yīng)對潛在用戶的多樣化需求和技術(shù)相關(guān)的潛在風(fēng)險。并且一直有傳聞 OpenAI 的測試和安全團隊對 Altman 激進的產(chǎn)品發(fā)布策略不滿。
9. 缺乏透明度：OpenAI 沒有提供關(guān)于產(chǎn)品的充分信息，比如可持續(xù)性指標、即將推出的功能、發(fā)布日期或產(chǎn)品路線圖。
10. 高級模型訪問受限：可能只有少數(shù)用戶能夠使用模型最強大的版本，或者由于高昂的費用，許多用戶可能無力負擔(dān)。

GPT-5 的創(chuàng)新突破與遺留挑戰(zhàn)

OpenAI 對于 GPT-5 的計劃充滿神秘，目前關(guān)于其發(fā)布日期和功能的報道眾說紛紜。（有趣的是，這種不一致性對一些人來說反而更具吸引力）盡管人們期望它能夠解決 GPT-4o 的一些缺陷，但某些根本性挑戰(zhàn)可能依然存在。

GPT-5 預(yù)期的改進

1. 增強事實核查能力：GPT-5 預(yù)計將提升事實核查功能。當前像 GPT-4 這樣的模型偶爾會產(chǎn)生不準確或虛構(gòu)的信息，GPT-5 旨在通過引用更可靠的數(shù)據(jù)源和優(yōu)化其響應(yīng)驗證過程來減少這些錯誤。
2. 提升視頻處理能力：GPT-4 在視頻內(nèi)容的處理與理解上存在局限，限制了其在多媒體應(yīng)用中的表現(xiàn)。而 Orion 有望顯著提升視頻理解和處理能力，可能應(yīng)用于實時視頻分析、摘要甚至生成。
3. 增強上下文記憶：GPT-5 預(yù)計將具備更強的記憶能力，可以在長時間對話中保留更多上下文信息。這將有助于創(chuàng)建更連貫、具有上下文意識的互動，使模型能夠記住對話早期的細節(jié)并在后續(xù)交流中靈活應(yīng)用。
4. 先進的多模態(tài)能力：雖然 GPT-4 引入了基本的多模態(tài)功能，能夠處理文本和圖像，而 GPT-5 可能會在此基礎(chǔ)上擴展，實現(xiàn)對文本、圖像、視頻，甚至音頻的多種輸入形式的無縫集成。
5. 倫理與偏見控制：未來像 GPT-5 這樣的模型預(yù)計將引入更復(fù)雜的機制，以減少偏見并更好地處理倫理復(fù)雜的情境。
6. 為企業(yè)提供定制和微調(diào)功能：GPT-5 可能允許企業(yè)更精細地控制模型微調(diào)，以滿足其特定需求。OpenAI 或?qū)⑻峁└呒壍?API 和工具，幫助企業(yè)定制語言生成、調(diào)整語氣，并優(yōu)化模型響應(yīng)，從而在客戶服務(wù)、營銷等多個領(lǐng)域?qū)崿F(xiàn)更廣泛的應(yīng)用。
7. 改進實時語言翻譯：GPT-5 預(yù)計將增強 GPT-4 的語言翻譯能力，目標是在更多語言和方言之間實現(xiàn)實時、上下文準確的翻譯。

GPT-5 遺留的挑戰(zhàn)

我認為如下問題依然會遺留在 GPT-5 中。

1. 數(shù)據(jù)質(zhì)量問題：模型依賴于大規(guī)模的互聯(lián)網(wǎng)數(shù)據(jù)，這些數(shù)據(jù)往往帶有偏見和不準確性，這一直是個問題。
2. 非英語語言的挑戰(zhàn)：盡管在提升非英語回應(yīng)質(zhì)量方面做出了努力，由于缺乏高質(zhì)量的訓(xùn)練數(shù)據(jù)和熟練的培訓(xùn)師，仍會存在一些限制。
3. 指令部分遵循：即便是簡單明了的指令，如果包含太多限制條件，對于大型語言模型 (LLM) 來說也可能顯得復(fù)雜。因為它們傾向于模式匹配而非完全理解提示。面對多重限制，LLM 可能只遵循最接近的模式，常常忽視某些指令。這個問題短期內(nèi)難以解決。
4. 資源消耗巨大：支撐 GPT 模型的 Transformer 架構(gòu)需要大量資源，這種情況可能會持續(xù)。這可能帶來環(huán)境隱患，例如，如果新的數(shù)據(jù)中心依賴核能，可能加速全球變暖或增加核廢料風(fēng)險。
5. 社會偏見的延續(xù)：模型的訓(xùn)練數(shù)據(jù)主要來自互聯(lián)網(wǎng)，如果不優(yōu)先考慮高質(zhì)量和無偏見的來源，可能會加劇和延續(xù)社會偏見。這突顯了 OpenAI 在數(shù)據(jù)收集方面的局限性，也表明需要更加細致地挑選訓(xùn)練數(shù)據(jù)。

未來的發(fā)展方向

為了解決這些限制，并確保 AI 的負責(zé)任發(fā)展，我們可能需要采取以下措施：

1. 新型語言模型：需要開發(fā)一種新的語言模型，它應(yīng)當資源高效，能夠在不依賴大量數(shù)據(jù)的情況下有效學(xué)習(xí)，適應(yīng)語言的各種應(yīng)用場景和細微差別。
2. 高質(zhì)量數(shù)據(jù)：為了減少偏見和不準確性，關(guān)鍵在于投資于多元化和高質(zhì)量數(shù)據(jù)集的創(chuàng)建與管理。這包括精心選擇數(shù)據(jù)來源、消除偏見，并確保數(shù)據(jù)的完整性。
3. 提高透明度和責(zé)任意識：OpenAI 和其他 AI 開發(fā)者應(yīng)優(yōu)先考慮研發(fā)過程的透明度。通過分享模型的局限性、偏見和潛在影響的信息，可以增進公眾信任，并促進關(guān)于 AI 在社會中作用的深入討論。
4. 用戶教育：通過教育公眾，使其了解 AI 的能力和限制，可以幫助管理期望，避免誤用。
5. 監(jiān)管監(jiān)督：政府和國際組織在監(jiān)管 AI 開發(fā)和部署方面發(fā)揮著重要作用。通過制定合適的法規(guī)，他們能夠在創(chuàng)新與安全之間取得平衡。這些法規(guī)應(yīng)關(guān)注數(shù)據(jù)隱私、算法公平性和責(zé)任追究等問題。

為了實現(xiàn)平衡的發(fā)展，我們必須確保 AI 的發(fā)展是協(xié)作的，而不是被少數(shù)人壟斷。公平競爭和透明度對于推動進步至關(guān)重要，而不是依賴于營銷炒作。通過坦誠討論挑戰(zhàn)，我們可以利用 AI 的力量為人類帶來福祉。