Microsoft 的工程師計劃于 2024 年 11 月在 Azure 上部署 Orion (GPT-5)。雖然這一版本不會向公眾開放，但其上線被視為人工智能領(lǐng)域的一個重要里程碑，并將產(chǎn)生深遠的影響。

GPT-5 真的要來了

OpenAI 在 2023 年 3 月左右宣布了 GPT-5 的開發(fā)計劃，這一消息引起了廣泛關(guān)注。一些知名人士簽署了暫停開發(fā)的請愿書，其中包括 AI 領(lǐng)域的先驅(qū) Yoshua Bengio（圖靈獎得主）、AI 研究人員 Stuart Russell 和 Gary Marcus、Apple 聯(lián)合創(chuàng)始人 Steve Wozniak、前美國總統(tǒng)候選人 Andrew Yang，以及原子科學家公報主席 Rachel Bronson（反對可能終結(jié)人類的核戰(zhàn)爭）。特斯拉、Twitter 和 SpaceX 的 CEO 及 OpenAI 的前聯(lián)合創(chuàng)始人 Elon Musk 也參與了簽署，Stability AI 的 CEO Emad Mostaque 亦在其中。

雖然 GPT-4 在 AI 能力上取得了顯著進步，但仍存在一些局限性。它并未導致大規(guī)模的失業(yè)或預示人類的滅亡，因此可能表明簽署請愿書的人存在誤解。

自從 GPT-4 發(fā)布以來已經(jīng)過去一年多，對于代號為 Orion 的 GPT-5 的擔憂逐漸減弱?，F(xiàn)在，Orion 終于準備向全球推出。與以往不同的是，它不會通過 ChatGPT 向公眾發(fā)布。OpenAI 計劃首先向與其密切合作的公司提供早期訪問權(quán)限，以便這些公司開發(fā)自己的產(chǎn)品和功能。雖然在內(nèi)部，Orion 被視為 GPT-4 的后繼者，但尚未確定是否會正式命名為 GPT-5。

有報告指出，GPT-5 的能力將提升 100 倍，但具體的“能力”細節(jié)尚不明確。然而，它仍將面臨一些無法克服的限制。

首先，讓我們探討最新 GPT 版本中持續(xù)存在的問題。

GPT-4 的局限性

1. 語言限制：盡管 GPT-4o 在多語言能力上有了提升，但在處理非英語語言時，尤其是那些高質(zhì)量數(shù)據(jù)匱乏的語言時，仍然存在挑戰(zhàn)，導致其響應和翻譯效果不佳。
2. 數(shù)據(jù)質(zhì)量問題：一個突出的擔憂是訓練數(shù)據(jù)的質(zhì)量不盡如人意，特別是在中文等語言中，這可能導致模型產(chǎn)生不準確或虛構(gòu)的回應，因為低質(zhì)量內(nèi)容廣泛存在。
3. 事實準確性：即便是在明確的提示下，模型有時也可能提供錯誤或誤導性的信息，這引發(fā)了對其可信度和可靠性的質(zhì)疑。
4. 部分指令遵循：當用戶給出冗長的指令集時，即使這些指令都很清晰簡單，模型可能只完成部分請求。對于 AI 來說，模型可能會完成它從訓練中識別的部分，但可能會跳過或簡化其他部分。在收到反饋后，模型可能會修正遺漏的部分，但同時可能忽略之前正確完成的部分。
5. 資源消耗巨大：訓練和運行 GPT-4o 這樣的大型語言模型需要大量計算資源，這不僅限制了模型的可及性，還因為高能耗引發(fā)了環(huán)境方面的擔憂。
6. 社會偏見：GPT-4o 可能無意中反映出訓練數(shù)據(jù)中的偏見，導致產(chǎn)生不公平甚至歧視性的輸出，這可能影響公眾觀點并加劇現(xiàn)有社會問題。
7. 擬人化傾向：使用“推理”和“理解”等術(shù)語來描述 AI 模型可能會導致不切實際的期望和誤解。雖然這可以幫助消費者更好地理解 LLMs，但必須認識到這些模型實際上是通過模式預測文字，而非像人類一樣真正理解或感知提示。
8. 紅隊測試不足：目前由 70 多名專家組成的團隊可能不足以充分應對潛在用戶的多樣化需求和技術(shù)相關(guān)的潛在風險。并且一直有傳聞 OpenAI 的測試和安全團隊對 Altman 激進的產(chǎn)品發(fā)布策略不滿。
9. 缺乏透明度：OpenAI 沒有提供關(guān)于產(chǎn)品的充分信息，比如可持續(xù)性指標、即將推出的功能、發(fā)布日期或產(chǎn)品路線圖。
10. 高級模型訪問受限：可能只有少數(shù)用戶能夠使用模型最強大的版本，或者由于高昂的費用，許多用戶可能無力負擔。

GPT-5 的創(chuàng)新突破與遺留挑戰(zhàn)

OpenAI 對于 GPT-5 的計劃充滿神秘，目前關(guān)于其發(fā)布日期和功能的報道眾說紛紜。（有趣的是，這種不一致性對一些人來說反而更具吸引力）盡管人們期望它能夠解決 GPT-4o 的一些缺陷，但某些根本性挑戰(zhàn)可能依然存在。

GPT-5 預期的改進

1. 增強事實核查能力：GPT-5 預計將提升事實核查功能。當前像 GPT-4 這樣的模型偶爾會產(chǎn)生不準確或虛構(gòu)的信息，GPT-5 旨在通過引用更可靠的數(shù)據(jù)源和優(yōu)化其響應驗證過程來減少這些錯誤。
2. 提升視頻處理能力：GPT-4 在視頻內(nèi)容的處理與理解上存在局限，限制了其在多媒體應用中的表現(xiàn)。而 Orion 有望顯著提升視頻理解和處理能力，可能應用于實時視頻分析、摘要甚至生成。
3. 增強上下文記憶：GPT-5 預計將具備更強的記憶能力，可以在長時間對話中保留更多上下文信息。這將有助于創(chuàng)建更連貫、具有上下文意識的互動，使模型能夠記住對話早期的細節(jié)并在后續(xù)交流中靈活應用。
4. 先進的多模態(tài)能力：雖然 GPT-4 引入了基本的多模態(tài)功能，能夠處理文本和圖像，而 GPT-5 可能會在此基礎上擴展，實現(xiàn)對文本、圖像、視頻，甚至音頻的多種輸入形式的無縫集成。
5. 倫理與偏見控制：未來像 GPT-5 這樣的模型預計將引入更復雜的機制，以減少偏見并更好地處理倫理復雜的情境。
6. 為企業(yè)提供定制和微調(diào)功能：GPT-5 可能允許企業(yè)更精細地控制模型微調(diào)，以滿足其特定需求。OpenAI 或?qū)⑻峁└呒壍?API 和工具，幫助企業(yè)定制語言生成、調(diào)整語氣，并優(yōu)化模型響應，從而在客戶服務、營銷等多個領(lǐng)域?qū)崿F(xiàn)更廣泛的應用。
7. 改進實時語言翻譯：GPT-5 預計將增強 GPT-4 的語言翻譯能力，目標是在更多語言和方言之間實現(xiàn)實時、上下文準確的翻譯。

GPT-5 遺留的挑戰(zhàn)

我認為如下問題依然會遺留在 GPT-5 中。

1. 數(shù)據(jù)質(zhì)量問題：模型依賴于大規(guī)模的互聯(lián)網(wǎng)數(shù)據(jù)，這些數(shù)據(jù)往往帶有偏見和不準確性，這一直是個問題。
2. 非英語語言的挑戰(zhàn)：盡管在提升非英語回應質(zhì)量方面做出了努力，由于缺乏高質(zhì)量的訓練數(shù)據(jù)和熟練的培訓師，仍會存在一些限制。
3. 指令部分遵循：即便是簡單明了的指令，如果包含太多限制條件，對于大型語言模型 (LLM) 來說也可能顯得復雜。因為它們傾向于模式匹配而非完全理解提示。面對多重限制，LLM 可能只遵循最接近的模式，常常忽視某些指令。這個問題短期內(nèi)難以解決。
4. 資源消耗巨大：支撐 GPT 模型的 Transformer 架構(gòu)需要大量資源，這種情況可能會持續(xù)。這可能帶來環(huán)境隱患，例如，如果新的數(shù)據(jù)中心依賴核能，可能加速全球變暖或增加核廢料風險。
5. 社會偏見的延續(xù)：模型的訓練數(shù)據(jù)主要來自互聯(lián)網(wǎng)，如果不優(yōu)先考慮高質(zhì)量和無偏見的來源，可能會加劇和延續(xù)社會偏見。這突顯了 OpenAI 在數(shù)據(jù)收集方面的局限性，也表明需要更加細致地挑選訓練數(shù)據(jù)。

未來的發(fā)展方向

為了解決這些限制，并確保 AI 的負責任發(fā)展，我們可能需要采取以下措施：

1. 新型語言模型：需要開發(fā)一種新的語言模型，它應當資源高效，能夠在不依賴大量數(shù)據(jù)的情況下有效學習，適應語言的各種應用場景和細微差別。
2. 高質(zhì)量數(shù)據(jù)：為了減少偏見和不準確性，關(guān)鍵在于投資于多元化和高質(zhì)量數(shù)據(jù)集的創(chuàng)建與管理。這包括精心選擇數(shù)據(jù)來源、消除偏見，并確保數(shù)據(jù)的完整性。
3. 提高透明度和責任意識：OpenAI 和其他 AI 開發(fā)者應優(yōu)先考慮研發(fā)過程的透明度。通過分享模型的局限性、偏見和潛在影響的信息，可以增進公眾信任，并促進關(guān)于 AI 在社會中作用的深入討論。
4. 用戶教育：通過教育公眾，使其了解 AI 的能力和限制，可以幫助管理期望，避免誤用。
5. 監(jiān)管監(jiān)督：政府和國際組織在監(jiān)管 AI 開發(fā)和部署方面發(fā)揮著重要作用。通過制定合適的法規(guī)，他們能夠在創(chuàng)新與安全之間取得平衡。這些法規(guī)應關(guān)注數(shù)據(jù)隱私、算法公平性和責任追究等問題。

為了實現(xiàn)平衡的發(fā)展，我們必須確保 AI 的發(fā)展是協(xié)作的，而不是被少數(shù)人壟斷。公平競爭和透明度對于推動進步至關(guān)重要，而不是依賴于營銷炒作。通過坦誠討論挑戰(zhàn)，我們可以利用 AI 的力量為人類帶來福祉。