LanDiff

LanDiff – 高質量文本到視頻生成的混合框架

LanDiff是什么

LanDiff是一款創新的混合框架，專為高質量的文本到視頻（T2V）生成而設計。它巧妙地結合了自回歸語言模型（LLM）與擴散模型（Diffusion Model）的優勢，通過逐步細化的生成策略，成功克服了單一技術在語義理解和視覺表現上的不足。在VBench T2V基準測試中，LanDiff取得了85.43的優秀成績，超越了包括13B的Hunyuan Video在內的多款開源及商業模型。

LanDiff

LanDiff的主要功能

高效的語義壓縮：通過語義標記器將3D視覺特征轉化為1D離散表示，實現高達14,000倍的壓縮比，同時保留豐富的語義信息。
優質視頻生成：基于流式擴散模型，將語義標記轉化為高保真視頻，支持長視頻生成并降低計算成本。
語義一致性與因果建模：借助自回歸語言模型的生成能力，確保視頻內容與文本高度一致且時間上連貫，避免傳統擴散模型在時間上不連貫的問題。
靈活的控制與定制：支持對幀數、分數等條件的調整，能夠生成特定長度和動態特征的視頻，兼顧視覺效果與語義準確性。
高效計算與優化：通過視頻幀分組技術減少時間冗余，利用高效的Transformer結構與注意力機制，顯著降低計算資源的消耗。

LanDiff的技術原理

粗到細的生成過程：LanDiff采用兩階段生成模型：
- 第一階段（粗粒度生成）：利用語言模型（LLM）生成語義標記，這些標記描繪了視頻的高級語義框架，為后續生成高質量視頻奠定基礎。
- 第二階段（細粒度生成）：通過擴散模型將這些語義標記細化為高保真視頻，逐步增加細節，最終呈現出優質的視頻內容。
語義標記器：將3D視覺特征壓縮為緊湊的1D離散表示，壓縮比可達14,000倍。受到MP4視頻編碼算法的啟發，將視頻幀分為關鍵幀（IFrame）和非關鍵幀（PFrame），關鍵幀進行完整編碼，而非關鍵幀則只捕捉時間變化，有效減少時間冗余。
語言模型：利用預訓練的T5-XXL模型提取文本特征，轉化視頻為1D離散標記序列，并引入額外的控制條件（例如幀數和分數），增強生成結果的可控性。通過自回歸的方式生成語義標記，確保生成內容的語義一致性與時間連貫性。
流式擴散模型：采用與MMDiT相似的架構，通過視頻標記器解碼器將語義標記解碼為語義特征，并作為條件指導擴散模型生成最終視頻。