UnityVideo – 快手可靈聯合港科大開源的視頻生成框架

UnityVideo：革新視頻生成的智能新紀元

在人工智能飛速發展的浪潮中，視頻生成技術正以前所未有的速度演進。香港科技大學，攜手快手可靈團隊與清華大學等頂尖研究力量，共同擘畫了視頻生成的新藍圖——UnityVideo。這不僅僅是一個簡單的模型，而是一個突破性的多模態、多任務視頻生成框架，它巧妙地融合了多種視覺維度（如圖像分割、人體骨架、深度信息、光流場等）與創新的訓練模式，旨在賦予視頻生成模型對物理世界的深度洞察力。

UnityVideo 的核心魅力在于其精妙的動態噪聲注入與模態自適應學習機制。通過這兩大關鍵技術，它實現了 RGB 視頻與輔助模態之間流暢的雙向信息交互，極大地加速了模型的學習進程，并顯著提升了其在未知場景下的泛化能力。

UnityVideo 的核心能力概覽

• 全方位多模態視頻生成：UnityVideo 能夠根據文字描述，生成引人入勝的 RGB 視頻。更令人驚嘆的是，它還能整合深度圖、光流、分割掩碼、人體骨架、DensePose 等多種輔助視覺信息，進行聯合生成。這種多模態的協同作用，使得生成的視頻在物理真實性和時空連貫性上達到了新的高度。
• 精細化可控視頻生成：該框架具備強大的可控性，能夠依據深度圖、光流等多種模態的指令，精準生成符合特定場景需求的視頻內容。用戶可以像指揮家一樣，通過設定不同的模態條件，塑造出個性化的視頻表達。
• 深度模態解析與估計：反之，UnityVideo 也能從普通的 RGB 視頻中“抽絲剝繭”，精確估計出各種輔助模態信息，如深度圖、光流場、分割掩碼等。這為視頻內容的多維度理解和解析提供了強有力的工具。
• 卓越的零樣本泛化能力：UnityVideo 的一大亮點在于其出色的零樣本泛化能力。即使面對訓練數據中未曾出現過的場景和對象，它依然能夠生成高質量的視頻，并準確估計出多樣的模態信息，展現出強大的適應性和前瞻性。
• 高效的多任務協同訓練：在一個統一的框架內，UnityVideo 集成了視頻生成、可控生成以及模態估計等多種核心任務。通過多任務的聯合優化，模型能夠相互促進，全面提升其綜合性能和跨領域泛化能力。

UnityVideo 的技術內核解析

• 統一的多模態融合架構：UnityVideo 構建了一個基于擴散模型（如擴散變換器 DiT）的統一平臺，將 RGB 視頻與多種輔助模態的信息無縫匯聚于一個共享的特征空間。其創新的動態噪聲注入策略，能在訓練過程中隨機切換不同的任務（如條件生成、模態估計、聯合生成），使得模型能夠同時精通多種任務和模態的聯合分布學習。
• 智能的模態自適應機制：框架引入了“模態自適應開關”（Modality-Adaptive Switcher），為每一種模態配置的參數集（如 AdaLN 參數），從而實現模型根據不同模態動態調整網絡參數。同時，借助“上下文學習器”（In-Context Learner），通過注入模態類型的文本提示（例如“深度圖”、“光流”），模型能夠從語義層面精確區分不同的模態，顯著增強其模態感知能力。
• 精妙的動態噪聲調度：在訓練階段，UnityVideo 精心設計了動態噪聲調度策略。根據任務的類型（條件生成、模態估計、聯合生成），它對 RGB 視頻和輔助模態施加差異化的噪聲，從而促進跨任務的協同學習。其概率化的任務選擇機制，能夠有效平衡不同任務的學習難度，避免模型在聯合訓練現偏倚。
• 循序漸進的課程學習路徑：UnityVideo 采用了一種分階段的課程學習方法。初期，它會在單人數據集上訓練像素對齊的模態（如深度、光流），為模型建立起空間對應關系的基礎。隨后，再逐步擴展到多人數據和更廣泛的模態，層層遞進地提升模型對復雜場景的理解能力。
• 海量多模態數據集的支撐：為了支撐如此強大的模型，研究團隊構建了 OpenUni 數據集，該數據集囊括了 130 萬對多模態視頻樣本，覆蓋了 RGB、深度、光流、分割掩碼、骨架等多種視覺維度。此外，UniBench 基準測試集的推出，為評估模型在多模態視頻任務上的性能提供了可靠的衡量標準，確保了模型的泛化能力和準確性。

UnityVideo 的探索之旅：項目鏈接

• 官方項目主頁：https://jackailab.github.io/Projects/UnityVideo/
• GitHub 代碼倉庫：https://github.com/dvlab-research/UnityVideo
• HuggingFace 模型中心：https://huggingface.co/JackAILab/UnityVideo
• 深度解析論文：https://arxiv.org/pdf/2512.07831

UnityVideo 的廣闊應用前景

• 影視后期與特效制作：UnityVideo 能夠快速生成逼真的特效場景，如奔騰的瀑布、璀璨的極光、流動的液體等，為影視后期制作提供高效的預覽和創意驗證工具。
• 虛擬與增強現實的沉浸體驗：該框架能夠生成高度逼真的虛擬環境和動態背景，極大地增強用戶在 VR/AR 中的沉浸感和交互的真實性。
• 教育與科學可視化：在教育領域，UnityVideo 可以根據教學內容生成各類科學現象的模擬視頻，例如物理實驗的動態過程、生物體的生長演化，幫助學生更直觀地理解抽象概念。
• 游戲開發的新動力：對于游戲開發者而言，UnityVideo 可以高效生成游戲中的動態場景、角色動畫以及引人入勝的過場動畫，顯著提升游戲的視覺表現力和開發效率。
• 廣告與營銷的創意引擎：根據品牌需求，UnityVideo 能夠迅速生成富有創意的廣告視頻，滿足社交媒體、電視廣告等多元化的營銷傳播需求，為品牌注入新的活力。