免訓(xùn)練加速DiT！Meta提出自適應(yīng)緩存新方法，視頻生成快2.6倍

AIGC動態(tài)歡迎閱讀

原標(biāo)題：免訓(xùn)練加速DiT！Meta提出自適應(yīng)緩存新方法，視頻生成快2.6倍
關(guān)鍵字：視頻,緩存,步驟,質(zhì)量,團(tuán)隊
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

一水發(fā)自凹非寺量子位 | 公眾號 QbitAI現(xiàn)在，視頻生成模型無需訓(xùn)練即可加速了？！
Meta提出了一種新方法AdaCache，能夠加速DiT模型，而且是無需額外訓(xùn)練的那種（即插即用）。
話不多說，先來感受一波加速feel（最右）：
可以看到，與其他方法相比，AdaCache生成的視頻質(zhì)量幾乎無異，而生成速度卻提升了2.61倍。
據(jù)了解，AdaCache靈感源于“并非所有視頻都同等重要”。
啥意思？？原來團(tuán)隊發(fā)現(xiàn)：
有些視頻在達(dá)到合理質(zhì)量時所需的去噪步驟比其他視頻少
因此，團(tuán)隊在加速DiT時主打一個“按需分配，動態(tài)調(diào)整”，分別提出基于內(nèi)容的緩存調(diào)度和正則化（MoReg）來控制緩存及計算分配。
目前這項技術(shù)已在GitHub開源，單個A100（80G）GPU 上就能運(yùn)行，網(wǎng)友們直呼：
看起來速度提升了2~4倍，Meta讓開源AI再次偉大！
“并非所有視頻都同等重要”下面我們具體介紹下這項研究。
先說結(jié)論，以O(shè)pen-Sora是否加持AdaCache為例，使用AdaCache能將視頻生成速度提升4.7倍——
質(zhì)量幾乎相同的情況下，前后速度從419.60s降低到89.53s。
具體如

原文鏈接：免訓(xùn)練加速DiT！Meta提出自適應(yīng)緩存新方法，視頻生成快2.6倍