Picsart人工智能研究所、德克薩斯大學(xué)和SHI實(shí)驗(yàn)室的研究人員聯(lián)合推出了StreamingT2V視頻模型。通過(guò)文本就能直接生成2分鐘、1分鐘等不同時(shí)間，動(dòng)作一致、連貫、沒(méi)有卡頓的高質(zhì)量視頻。

雖然StreamingT2V在視頻質(zhì)量、多元化等還無(wú)法與Sora媲美，但在高速運(yùn)動(dòng)方面非常優(yōu)秀，這為開(kāi)發(fā)長(zhǎng)視頻模型提供了技術(shù)思路。

研究人員表示，理論上，StreamingT2V可以無(wú)限擴(kuò)展視頻的長(zhǎng)度，并正在準(zhǔn)備開(kāi)源該視頻模型。

論文地址：https://arxiv.org/abs/2403.14773

github地址：https://github.com/Picsart-AI-Research/StreamingT2V（即將開(kāi)源）

傳統(tǒng)視頻模型一直受訓(xùn)練數(shù)據(jù)、算法等困擾，最多只能生成10秒視頻。Sora的出現(xiàn)將文生視頻領(lǐng)域帶向了一個(gè)全新的高度，突破了諸多技術(shù)瓶頸，僅通過(guò)文本就能生成最多1分鐘的視頻。

而StreamingT2V采用了創(chuàng)新的自回歸技術(shù)框架，通過(guò)條件注意力、外觀保持和隨機(jī)混合三大模塊，極大的延長(zhǎng)了視頻的時(shí)間，同時(shí)保證動(dòng)作的連貫性。

簡(jiǎn)單來(lái)說(shuō)，StreamingT2V使用了一種“擊鼓傳花”的方法，每一個(gè)模塊通過(guò)提取前一個(gè)視頻塊中的表示特征，來(lái)保證動(dòng)作一致性、文本語(yǔ)義還原、視頻完整性等。

條件注意力模塊

條件注意力模塊是一種“短期記憶”,通過(guò)注意力機(jī)制從前一個(gè)視頻塊中提取特征,并將其注入到當(dāng)前視頻塊的生成中,實(shí)現(xiàn)了流暢自然的塊間過(guò)渡,同時(shí)保留了高速運(yùn)動(dòng)特征。

先使用圖像編碼器對(duì)前一個(gè)視頻塊的最后幾幀(例如20幀)進(jìn)行逐幀編碼,得到相應(yīng)的特征表示，并將這些特征送入一個(gè)淺層編碼器網(wǎng)絡(luò)(初始化自主模型的編碼器權(quán)重)進(jìn)行進(jìn)一步編碼。

然后將提取到的特征表示注入到StreamingT2V的UNet的每個(gè)長(zhǎng)程跳躍連接處，從而借助前一視頻塊的內(nèi)容信息來(lái)生成新的視頻幀,但不會(huì)受到先前結(jié)構(gòu)、形狀的影響。

外觀保持模塊

為了保證生成視頻全局場(chǎng)景、外觀的一致性，StreamingT2V使用了外觀保持這種“長(zhǎng)期記憶”方法。

外觀保持從初始圖像（錨定幀）中提取高級(jí)場(chǎng)景和對(duì)象特征，并將這些特征用于所有視頻塊的生成流程。這樣做可以幫助在自回歸過(guò)程中，保持對(duì)象和場(chǎng)景特征的連續(xù)性。

此外，現(xiàn)有方法通常只針對(duì)前一個(gè)視頻塊的最后一幀進(jìn)行條件生成，忽視了自回歸過(guò)程中的長(zhǎng)期依賴性。通過(guò)使用外觀保持，可以使用初始圖像中的全局信息，從而更好地捕捉到自回歸過(guò)程中的長(zhǎng)期依賴性。

隨機(jī)混合模塊

前兩個(gè)模塊保證了StreamingT2V生成的視頻大框架，但是在分辨率、質(zhì)量方面還有欠缺，而隨機(jī)混合模塊主要用來(lái)增強(qiáng)視頻的分辨率。

如果直接增強(qiáng)質(zhì)量會(huì)耗費(fèi)大量AI算力、時(shí)間，所以，隨機(jī)混合采用了自回歸增強(qiáng)的方法。

首先，研究人員將低分辨率視頻劃分為多個(gè)長(zhǎng)度為24幀的視頻塊,這些塊之間是有重疊的。然后,利用一個(gè)高分辨率的視頻模型,對(duì)每一個(gè)視頻塊進(jìn)行增強(qiáng),得到對(duì)應(yīng)的高分辨率視頻塊。

例如，有兩個(gè)重疊的視頻塊A和B,重疊部分包含20幀。對(duì)于重疊部分的每一幀,隨機(jī)混合模塊會(huì)從A塊和B塊中各取出一幀,然后對(duì)這兩幀進(jìn)行加權(quán)平均,生成一個(gè)新的混合幀。通過(guò)這種方式,重疊部分的每一幀都是A塊和B塊對(duì)應(yīng)幀的隨機(jī)混合。

而對(duì)于不重疊的部分,隨機(jī)混合模塊則直接保留原始視頻塊中的幀。經(jīng)過(guò)隨機(jī)混合后的視頻塊就可以輸入到高分辨率模型中進(jìn)行增強(qiáng)。

研究人員指出，如果讓相鄰的兩個(gè)視頻塊直接共享完全相同的重疊幀,會(huì)導(dǎo)致視頻在過(guò)渡處出現(xiàn)不自然的凍結(jié)和重復(fù)效果。而隨機(jī)混合模塊通過(guò)生成新的混合幀,很好地規(guī)避了這個(gè)難題,使得塊與塊之間的過(guò)渡更加平滑自然。

實(shí)驗(yàn)數(shù)據(jù)顯示, StreamingT2V生成的1分鐘、2分鐘長(zhǎng)視頻，不僅保持了高分辨率和清晰畫(huà)質(zhì),整體的時(shí)間連貫性也得到了很大提升。視頻中的物體運(yùn)動(dòng)姿態(tài)豐富，場(chǎng)景和物體隨時(shí)間的演變更加自然流暢,沒(méi)有突兀的斷層或凍結(jié)情況出現(xiàn)。

本文素材來(lái)源StreamingT2V論文，如有侵權(quán)請(qǐng)聯(lián)系刪除

END