BlockDance

BlockDance – 復旦聯合字節推出的擴散模型加速方法

BlockDance是什么

BlockDance 是由復旦大學與字節跳動的智能創作團隊共同開發的一種新型加速擴散模型的方法。該方法通過識別和重用相鄰時間步中的結構相似時空特征（STSS），顯著減少冗余計算，從而提升推理速度，最高可實現50%的加速效果。BlockDance 專注于去噪過程中的結構特征，確保在重用特征時不會因相似度不足而影響圖像質量。此外，BlockDance 還引入了 BlockDance-Ada，通過強化學習動態調整計算資源的分配，根據不同任務的復雜性優化加速策略，以進一步提升內容質量和推理速度。

BlockDance的主要功能

• 推理過程加速：通過減少冗余計算，提升 DiTs 模型的推理速度，最高可達50%，極大地提高了實際應用中的效率。
• 保持生成質量：在加速過程中，確保生成效果與原始模型一致，保證圖像和視頻的視覺效果、細節呈現和對輸入提示的響應程度。
• 動態資源調配：利用 BlockDance-Ada，根據生成任務的復雜性動態調整計算資源的分配，實現速度與質量的最佳平衡。
• 廣泛適用性：能夠無縫應用于多種擴散模型和生成任務，如圖像和視頻生成，展現出極強的通用性。

BlockDance的技術原理

• 特征相似性分析：在擴散模型的去噪階段，相鄰時間步的特征通常高度相似，尤其是在模型的淺層和中層模塊中。BlockDance 通過分析這些特征相似性，識別出結構相似的時空特征（Structurally Similar Spatio-Temporal，STSS），以此作為加速的關鍵。
• 緩存與重用機制：去噪過程分為“緩存步驟”和“重用步驟”。在緩存步驟中，模型保存當前步驟中的某些特征輸出。隨后，在重用步驟中，模型可以直接利用之前緩存的特征，從而跳過重復計算，節省計算資源。
• 動態決策網絡（BlockDance-Ada）：引入基于強化學習的輕量級決策網絡 BlockDance-Ada。該網絡根據當前生成任務的復雜性（如圖像結構復雜度、對象數量等）動態決定應緩存和重用哪些步驟。通過這種動態調整機制，BlockDance 在不同生成任務和模型上實現了更優的速度與質量平衡。
• 強化學習優化：通過強化學習中的策略梯度方法訓練決策網絡，設計獎勵函數以平衡圖像質量和計算效率。獎勵函數包括圖像質量獎勵（如視覺美感、對提示的遵循程度）和計算效率獎勵（如重用步驟的比例）。決策網絡通過最大化預期獎勵，學習到最優的緩存與重用策略，確保在保持生成質量的同時實現最大加速效果。

BlockDance的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2503.15927

BlockDance的應用場景

• 圖像生成：加速藝術創作、游戲設計等領域的高質量圖像生成，確保視覺效果的優越性。
• 視頻生成：提升視頻創作、動畫制作等任務的速度，保持視覺與時間的一致性。
• 實時交互：適用于虛擬現實（VR）、增強現實（AR）等實時應用，快速響應用戶輸入，提升用戶體驗。
• 大規模內容生成：高效生成大量圖像和視頻，降低計算成本，提升整體效率。
• 資源受限環境：能夠在移動設備、邊緣計算等資源有限的環境中高效運行，無需額外訓練。

常見問題

• BlockDance如何提高推理速度？ BlockDance通過識別和重用相鄰時間步中的結構相似特征，減少冗余計算，從而實現顯著的推理速度提升。
• 使用BlockDance生成的內容質量如何？ BlockDance在加速推理的同時，能夠保持與原始模型一致的生成質量，確保圖像和視頻的視覺效果。
• BlockDance適合哪些類型的生成任務？ BlockDance廣泛適用于圖像生成、視頻生成以及實時交互等多種生成任務，展現出良好的通用性。