BlockDance – 復(fù)旦聯(lián)合字節(jié)推出的擴(kuò)散模型加速方法

BlockDance是什么

BlockDance 是由復(fù)旦大學(xué)與字節(jié)跳動(dòng)的智能創(chuàng)作團(tuán)隊(duì)共同開(kāi)發(fā)的一種新型加速擴(kuò)散模型的方法。該方法通過(guò)識(shí)別和重用相鄰時(shí)間步中的結(jié)構(gòu)相似時(shí)空特征（STSS），顯著減少冗余計(jì)算，從而提升推理速度，最高可實(shí)現(xiàn)50%的加速效果。BlockDance 專(zhuān)注于去噪過(guò)程中的結(jié)構(gòu)特征，確保在重用特征時(shí)不會(huì)因相似度不足而影響圖像質(zhì)量。此外，BlockDance 還引入了 BlockDance-Ada，通過(guò)強(qiáng)化學(xué)習(xí)動(dòng)態(tài)調(diào)整計(jì)算資源的分配，根據(jù)不同任務(wù)的復(fù)雜性?xún)?yōu)化加速策略，以進(jìn)一步提升內(nèi)容質(zhì)量和推理速度。

BlockDance的主要功能

• 推理過(guò)程加速：通過(guò)減少冗余計(jì)算，提升 DiTs 模型的推理速度，最高可達(dá)50%，極大地提高了實(shí)際應(yīng)用中的效率。
• 保持生成質(zhì)量：在加速過(guò)程中，確保生成效果與原始模型一致，保證圖像和視頻的視覺(jué)效果、細(xì)節(jié)呈現(xiàn)和對(duì)輸入提示的響應(yīng)程度。
• 動(dòng)態(tài)資源調(diào)配：利用 BlockDance-Ada，根據(jù)生成任務(wù)的復(fù)雜性動(dòng)態(tài)調(diào)整計(jì)算資源的分配，實(shí)現(xiàn)速度與質(zhì)量的最佳平衡。
• 廣泛適用性：能夠無(wú)縫應(yīng)用于多種擴(kuò)散模型和生成任務(wù)，如圖像和視頻生成，展現(xiàn)出極強(qiáng)的通用性。

BlockDance的技術(shù)原理

• 特征相似性分析：在擴(kuò)散模型的去噪階段，相鄰時(shí)間步的特征通常高度相似，尤其是在模型的淺層和中層模塊中。BlockDance 通過(guò)分析這些特征相似性，識(shí)別出結(jié)構(gòu)相似的時(shí)空特征（Structurally Similar Spatio-Temporal，STSS），以此作為加速的關(guān)鍵。
• 緩存與重用機(jī)制：去噪過(guò)程分為“緩存步驟”和“重用步驟”。在緩存步驟中，模型保存當(dāng)前步驟中的某些特征輸出。隨后，在重用步驟中，模型可以直接利用之前緩存的特征，從而跳過(guò)重復(fù)計(jì)算，節(jié)省計(jì)算資源。
• 動(dòng)態(tài)決策網(wǎng)絡(luò)（BlockDance-Ada）：引入基于強(qiáng)化學(xué)習(xí)的輕量級(jí)決策網(wǎng)絡(luò) BlockDance-Ada。該網(wǎng)絡(luò)根據(jù)當(dāng)前生成任務(wù)的復(fù)雜性（如圖像結(jié)構(gòu)復(fù)雜度、對(duì)象數(shù)量等）動(dòng)態(tài)決定應(yīng)緩存和重用哪些步驟。通過(guò)這種動(dòng)態(tài)調(diào)整機(jī)制，BlockDance 在不同生成任務(wù)和模型上實(shí)現(xiàn)了更優(yōu)的速度與質(zhì)量平衡。
• 強(qiáng)化學(xué)習(xí)優(yōu)化：通過(guò)強(qiáng)化學(xué)習(xí)中的策略梯度方法訓(xùn)練決策網(wǎng)絡(luò)，設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)以平衡圖像質(zhì)量和計(jì)算效率。獎(jiǎng)勵(lì)函數(shù)包括圖像質(zhì)量獎(jiǎng)勵(lì)（如視覺(jué)美感、對(duì)提示的遵循程度）和計(jì)算效率獎(jiǎng)勵(lì)（如重用步驟的比例）。決策網(wǎng)絡(luò)通過(guò)最大化預(yù)期獎(jiǎng)勵(lì)，學(xué)習(xí)到最優(yōu)的緩存與重用策略，確保在保持生成質(zhì)量的同時(shí)實(shí)現(xiàn)最大加速效果。

BlockDance的項(xiàng)目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.15927

BlockDance的應(yīng)用場(chǎng)景

• 圖像生成：加速藝術(shù)創(chuàng)作、游戲設(shè)計(jì)等領(lǐng)域的高質(zhì)量圖像生成，確保視覺(jué)效果的優(yōu)越性。
• 視頻生成：提升視頻創(chuàng)作、動(dòng)畫(huà)制作等任務(wù)的速度，保持視覺(jué)與時(shí)間的一致性。
• 實(shí)時(shí)交互：適用于虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）等實(shí)時(shí)應(yīng)用，快速響應(yīng)用戶(hù)輸入，提升用戶(hù)體驗(yàn)。
• 大規(guī)模內(nèi)容生成：高效生成大量圖像和視頻，降低計(jì)算成本，提升整體效率。
• 資源受限環(huán)境：能夠在移動(dòng)設(shè)備、邊緣計(jì)算等資源有限的環(huán)境中高效運(yùn)行，無(wú)需額外訓(xùn)練。

常見(jiàn)問(wèn)題

• BlockDance如何提高推理速度？ BlockDance通過(guò)識(shí)別和重用相鄰時(shí)間步中的結(jié)構(gòu)相似特征，減少冗余計(jì)算，從而實(shí)現(xiàn)顯著的推理速度提升。
• 使用BlockDance生成的內(nèi)容質(zhì)量如何？ BlockDance在加速推理的同時(shí)，能夠保持與原始模型一致的生成質(zhì)量，確保圖像和視頻的視覺(jué)效果。
• BlockDance適合哪些類(lèi)型的生成任務(wù)？ BlockDance廣泛適用于圖像生成、視頻生成以及實(shí)時(shí)交互等多種生成任務(wù)，展現(xiàn)出良好的通用性。