缺點

狼在追逐打鬧過程中，可能會憑空多出或消失

Sora也存有以下弱點：可能難以準(zhǔn)確模擬復(fù)雜場景的物理原理，無法理解因果關(guān)系，混淆提示的空間細(xì)節(jié)，難以精確描述隨著時間推移發(fā)生的事件。

沒有正確表示籃球穿過籃筐的過程

例如，在“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”的場景中，狼的數(shù)量會變化，一些憑空出現(xiàn)或消失。在提示詞“籃球穿過籃筐然后爆炸”中，籃球沒有正確被籃筐阻擋。

OpenAI表示，Sora存在不成熟之處，可能難以理解因果關(guān)系，多位人工智能領(lǐng)域人士表示，該問題可能因其概率模式的邏輯存有“硬傷”。加大訓(xùn)練量、增加訓(xùn)練數(shù)據(jù)與物理邏輯可改善該問題，但無法根治。想要真正突破最底層邏輯上的問題，因果關(guān)系是一條必經(jīng)之路。

技術(shù)特點

多幀預(yù)測生成

Sora是一種擴散模型，具備從噪聲中生成完整視頻的能力，它生成的視頻一開始看起來像靜態(tài)噪音，通過多個步驟逐漸去除噪聲后，視頻也從最初的隨機像素轉(zhuǎn)化為清晰的圖像場景，其能夠一次生成多幀預(yù)測，確保畫面主體在暫時離開視野時仍保持一致。

特殊架構(gòu)

Sora采用與GPT模型相似的Transformer架構(gòu)，OpenAI用Transformer結(jié)構(gòu)替代Diffusion模型中常用的U-Net結(jié)構(gòu)，提升了原來Diffusion模型在深度和寬度上的可擴展性，為視頻模型增加輸出時長奠定基礎(chǔ)?。Transformer架構(gòu)能夠處理長序列數(shù)據(jù)，并通過自注意力機制捕捉數(shù)據(jù)中的依賴關(guān)系，從而提高模型的生成能力?。但為了解決Transformer架構(gòu)在長文本和高分辨率圖像處理上的問題，擴散模型采用更可擴展的狀態(tài)空間模型（SSM）主干替代了傳統(tǒng)的注意力機制，從而減少了算力需求，并能夠生成高分辨率圖像?。

?

重述提示詞

Sora借鑒DALL-E 3的“重述提示詞技術(shù)”，為視覺訓(xùn)練數(shù)據(jù)生成高度描述性的標(biāo)注，這使得模型能夠更忠實地遵循用戶的文本指令，生成符合用戶需求的視頻內(nèi)容，同時也提高了模型的靈活性和可控性。

數(shù)據(jù)表示

OpenAI將視頻和圖像表示為Patch，類似于GPT中的token，這種統(tǒng)一的數(shù)據(jù)表示方式使得Sora能夠在更廣泛的視覺數(shù)據(jù)上進行訓(xùn)練，涵蓋不同的持續(xù)時間、分辨率和縱橫比，有助于模型學(xué)習(xí)到更豐富的視覺特征，提高生成視頻的質(zhì)量和多樣性。

原生規(guī)模訓(xùn)練

Sora采用“原生規(guī)模訓(xùn)練”，過往的圖像和視頻生成通常會將視頻調(diào)整為標(biāo)準(zhǔn)大小，但這樣會失去視頻的原始長寬比和細(xì)節(jié)，而原生規(guī)模的訓(xùn)練方法可以帶來更好的效果。Sora可以對各種尺寸和縱橫比的視頻進行采樣，允許直接為不同尺寸的設(shè)備創(chuàng)建內(nèi)容，并快速原型化較低分辨率的內(nèi)容。與將視頻裁剪為正方形的模型相比，Sora可以生成更完整、更美觀的視頻?。

?社會影響

價值意義

Sora對于需要制作視頻的藝術(shù)家、電影制片人或?qū)W生來說，都帶來了無限可能。該模型可以深度模擬真實物理世界，標(biāo)志著人工智能在理解真實世界場景并與之互動的能力方面實現(xiàn)飛躍，也被認(rèn)為是實現(xiàn)通用人工智能（AGI）的重要里程碑，通過不斷深入研究和發(fā)展Sora等先進模型，有望在未來實現(xiàn)更加智能、高效和多樣化的視頻生成與處理技術(shù)。

產(chǎn)業(yè)格局

• 估值上漲

Sora發(fā)布后，OpenAI的估值迅速上漲（有望超過800億美元，2023年ChatGPT發(fā)布不久時其估值約為290億美元），且文生視頻大模型將會大幅推動人工智能基礎(chǔ)設(shè)施的需求，英偉達(dá)、OpenAI、軟銀等巨頭公司都被曝正在進行AI芯片的制造布局，英偉達(dá)也因大模型訓(xùn)練需要GPU算力支持而股價大漲?[38]。與此同時，受Sora發(fā)布的影響，美國圖片供應(yīng)商Shutterstock的股價大跌。

在中國，龍年開市第一天，Sora相關(guān)概念全線“爆發(fā)”，會暢通訊、當(dāng)虹科技、萬興科技、易點天下、因賽集團、東方國信、數(shù)碼視訊、華揚聯(lián)眾、國脈文化等股票均大幅上漲，多家公司回應(yīng)稱，將根據(jù)自身業(yè)務(wù)特點，在文生視頻技術(shù)落地、Sora應(yīng)用等方面尋找突破入口。

• 生產(chǎn)變革

浙商證券預(yù)測，Sora及同類產(chǎn)品將參與到改變信息生產(chǎn)和分發(fā)兩大環(huán)節(jié)的進程中，PGC（專業(yè)生產(chǎn)內(nèi)容）將廣泛采用AI工具輔助生產(chǎn)，UGC（用戶生成內(nèi)容）將借助AI工具逐步替代PGC。此間，AI生成視頻工具的商業(yè)化將提速?。

Sora可生成一段長達(dá)60秒的視頻，遠(yuǎn)超市面同類AI產(chǎn)品視頻生成時長，60秒的視頻時長，已經(jīng)超過抖音等短視頻平臺的平均視頻時長，Sora的誕生也為以后短視頻平臺的內(nèi)容生產(chǎn)提供了更大的可能性。?

職業(yè)取代

截至2024年2月，已有一些視覺藝術(shù)家、設(shè)計師和電影制作人以及OpenAI員工獲得了Sora訪問權(quán)限，他們也已開始在社交平臺不斷曬出使用Sora生成的新作品，為人們展示AI生成視頻的創(chuàng)意可能。許多網(wǎng)友稱“不少人要丟工作了”，甚至有人開始“悼念”一整個素材行業(yè)。

各界評價

主要競品

相較于其他模型，Sora的優(yōu)勢主要是三方面：

• 第一：可以生成長達(dá)60秒鐘的視頻，包括多個角色、特定類型動作和主題背景；

• 第二：可以在單個生成的視頻中創(chuàng)建多個鏡頭，模擬復(fù)雜的攝像機運鏡，同時準(zhǔn)確地保持角色和視覺風(fēng)格；

• 第三：能夠理解物體在現(xiàn)實世界中的物理規(guī)律和存在方式?。

• 

社會爭議

虛假信息

????????Sora的發(fā)布引發(fā)了關(guān)于虛假信息傳播的爭議。其強大的圖像視頻生成能力達(dá)到了以假亂真的程度，這不僅改變了人們“眼見為實”的傳統(tǒng)觀念，還可能帶來一系列社會問題，如視頻證據(jù)真實性和有效性的驗證難題。在Sora問世前已有多起利用AI偽造視頻進行詐騙的案例，顯示了AI生成視頻可能被濫用于非法目的的風(fēng)險。Sora的普及可能會進一步降低制作高質(zhì)量虛假視頻的門檻，加劇虛假信息的傳播。盡管互聯(lián)網(wǎng)平臺已有針對特定類型虛假信息的檢測機制，但對于復(fù)雜難辨的信息仍需加強深度分析和及時阻斷。隨著AI生成內(nèi)容的激增，網(wǎng)絡(luò)上的合成內(nèi)容將大量存在，這要求不僅在技術(shù)上持續(xù)改進，還需建立更全面的治理體系來有效應(yīng)對虛假信息的挑戰(zhàn)。

版權(quán)問題

????????Sora可能引發(fā)侵權(quán)爭議。一方面，Sora生成的視頻版權(quán)是否受到保護尚不明確，這可能導(dǎo)致使用這些視頻的主體面臨侵權(quán)索賠和版權(quán)保護追溯的風(fēng)險。另一方面，Sora在訓(xùn)練過程中使用了相關(guān)素材，即使只是用這些素材進行訓(xùn)練，也可能存在潛在的侵權(quán)風(fēng)險?。

源自：Sora（OpenAI發(fā)布的人工智能文生視頻大模型）_百度百科