Next-Frame Diffusion

Next-Frame Diffusion – 北大聯合微軟推出的自回歸視頻生成模型

Next-Frame Diffusion (NFD) 是由北京大學和微軟研究院攜手打造的自回歸視頻生成模型。它巧妙地融合了擴散模型生成高品質圖像的能力，以及自回歸模型在保持因果性和可控性方面的優勢。 NFD 采用了塊因果注意力機制和擴散變換器，實現了高效的幀級生成。

Next-Frame Diffusion：開啟視頻生成新篇章

Next-Frame Diffusion (NFD) 是一款革新性的自回歸視頻生成模型，它匯聚了北京大學與微軟研究院的智慧結晶。這款模型巧妙地結合了擴散模型在圖像生成上的卓越表現，以及自回歸模型在因果關系和可控性方面的獨特優勢。 NFD 采用塊因果注意力機制和擴散變換器，實現了幀級別的快速生成，能夠在保持視頻質量和連貫性的同時，實現超過30幀每秒的實時視頻生成。通過引入一致性蒸餾和推測性采樣等先進技術，NFD 進一步提升了采樣效率。在大規模動作條件視頻生成任務中，NFD 展現出卓越性能，顯著超越了現有模型。

核心功能

實時視頻生成：在高性能GPU上，NFD 能夠以超過30幀每秒的速度生成視頻，使其成為對響應速度有極高要求的交互式應用（如游戲、虛擬現實和實時視頻編輯）的理想選擇。
高保真視頻生成：NFD 在連續空間內生成高質量的視頻內容，能夠更好地捕捉細節和紋理，優于傳統的自回歸模型。
動作條件生成：根據用戶的實時操作，NFD 可以生成相應的視頻內容，為交互式應用提供了極高的靈活性和可控性。
長期視頻生成：NFD 能夠生成任意長度的視頻內容，非常適合需要長期連貫性的應用，例如故事敘述或模擬環境。

項目官網

項目官網：https://nextframed.github.io/

技術亮點

塊因果注意力機制（Block-wise Causal Attention）：該機制是模型的核心，它融合了幀內的雙向注意力和幀間的因果依賴。在每一幀內部，模型通過雙向自注意力機制捕捉幀內的空間依賴關系。在幀之間，模型保持因果性，確保生成的視頻具有連貫性和一致性。
擴散模型與擴散變換器（Diffusion Transformer）：NFD 基于擴散模型的原理，通過逐步去噪來生成視頻幀。擴散變換器是 NFD 的關鍵組件，它基于 Transformer 架構的強大建模能力，處理視頻的時空依賴關系。
一致性蒸餾（Consistency Distillation）：為了加速采樣過程，NFD 引入了一致性蒸餾技術，將圖像領域的 sCM (Simplified Consistency Model) 擴展到視頻領域，從而顯著提升生成速度，并保持生成內容的高質量。
推測性采樣（Speculative Sampling）：通過利用相鄰幀動作輸入的一致性，NFD 提前生成未來幾幀。如果后續檢測到動作輸入發生變化，則丟棄推測生成的幀，并從最后一個驗證幀重新開始生成，從而減少推理時間，提高實時生成的效率。
動作條件輸入（Action Conditioning）：NFD 依賴動作條件輸入來控制視頻生成的方向和內容。動作輸入可以是用戶的操作指令、控制信號或其他形式的條件信息，模型根據這些輸入生成相應的視頻幀。