AI首次實(shí)時(shí)生成視頻！尤洋團(tuán)隊(duì)新作，網(wǎng)友：這是新紀(jì)元

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：AI首次實(shí)時(shí)生成視頻！尤洋團(tuán)隊(duì)新作，網(wǎng)友：這是新紀(jì)元
關(guān)鍵字：注意力,視頻,團(tuán)隊(duì),差異,步驟
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

一水發(fā)自凹非寺量子位 | 公眾號(hào) QbitAI尤洋團(tuán)隊(duì)新作，首個(gè)基于DiT的實(shí)時(shí)視頻生成方法來(lái)了！
先來(lái)直觀感受一下效果（右側(cè)為新方法）：
這是團(tuán)隊(duì)在Open-Sora上，使用5個(gè)4s（192幀）480p分辨率視頻進(jìn)行的測(cè)試。
新方法名為Pyramid Attention Broadcast（PAB），由新加坡國(guó)立大學(xué)尤洋以及3位學(xué)生推出。
具體來(lái)說(shuō)，PAB通過(guò)減少冗余注意力計(jì)算，可實(shí)現(xiàn)高達(dá)21.6FPS和10.6倍加速，并且不會(huì)犧牲基于DiT的流行視頻生成模型（包括Open-Sora、Open-Sora-Plan和Latte）的質(zhì)量。
作為一種免訓(xùn)練方法，PAB可為將來(lái)任何基于DiT的視頻生成模型提供實(shí)時(shí)功能。
看完效果對(duì)比，網(wǎng)友們紛紛驚嘆：
這將是新紀(jì)元。
也引來(lái)了眾多專(zhuān)業(yè)人士的轉(zhuǎn)發(fā)和點(diǎn)評(píng)，如MIT博士Yilun Du表示：
是一個(gè)展示了如何將視頻生成加速到實(shí)時(shí)速度的酷炫工作！可能會(huì)為視頻策略和模擬的現(xiàn)實(shí)世界用例開(kāi)辟新的領(lǐng)域。
那么，新方法具體如何實(shí)時(shí)生成視頻這個(gè)難題的呢？
減少冗余注意力計(jì)算一開(kāi)始，團(tuán)隊(duì)比較了當(dāng)前擴(kuò)散步驟與前一步驟的注意力輸出差異。
這些差異通過(guò)均方誤差（

原文鏈接：AI首次實(shí)時(shí)生成視頻！尤洋團(tuán)隊(duì)新作，網(wǎng)友：這是新紀(jì)元