Matrix-Game – 昆侖萬維開源的工業界首個空間智能大模型

Matrix-Game是什么

Matrix-Game是由昆侖萬維開源的工業界首個超10B參數的空間智能大模型，屬于Matrix-Zero世界模型中的一款可交互視頻生成大模型。該模型采用了兩階段訓練策略，能夠根據用戶輸入生成連貫且可控的互動視頻。其優勢包括細致的用戶交互控制、高保真的視覺效果與物理一致性，以及多場景的泛化能力，廣泛應用于虛擬游戲世界的構建、影視制作及元宇宙內容的生成，為通用虛擬世界的基礎設施樹立了新的標桿。

Matrix-Game的主要功能

• 可控視頻生成：用戶只需通過簡單的鍵盤指令和鼠標操作即可探索和操控，甚至創造出細節豐富、符合物理規律的虛擬世界。
• 多場景泛化：具備對多種Minecraft游戲場景（如森林、沙灘、沙漠、冰川等）的泛化能力，并有潛力擴展至非Minecraft游戲環境。
• 自回歸式長視頻生成：支持自回歸方式生成長視頻，確保動作和視角之間的平滑銜接，實現時間一致性與環境適應性。
• 系統化評估：提出統一的GameWorld Score標準，從視覺質量、時序質量、動作可控性及物理規則理解四個維度全面評估模型性能。

Matrix-Game的技術原理

• 兩階段訓練策略：利用大規模無標簽的Minecraft游戲視頻數據進行預訓練，使模型學習環境的基本特征和動態規律。隨后，使用帶有鍵盤與鼠標控制信號的可控視頻數據進行細粒度訓練，使模型能夠根據用戶輸入生成相應的交互視頻。
• 圖像到世界建模：通過單張參考圖像作為生成交互視頻的起點，依賴視覺信號建?？臻g幾何、物體及其物理交互，而不依賴語言提示。
• 自回歸式視頻生成：支持自回歸生成長視頻，每次使用前一視頻片段的最后幾幀作為上下文，逐段生成以確保時間上的連貫性，訓練過程中引入隨機擾動和Classifier-free guidance策略，減輕時序漂移和誤差累積。
• 可控交互設計：通過離散token表達鍵盤動作，連續token表達視角移動，結合GameFactory的控制模塊，采用多模態Diffusion Transformer架構，提升對控制信號的響應能力。

Matrix-Game的項目地址

• 項目官網：https://matrix-game-homepage.github.io/
• GitHub倉庫：https://github.com/SkyworkAI/Matrix-Game
• HuggingFace模型庫：https://huggingface.co/Skywork/Matrix-Game
• 技術論文：https://github.com/SkyworkAI/Matrix-Game

Matrix-Game的應用場景

• 虛擬游戲開發：快速生成多樣化的游戲地圖和動態交互環境，提升開發效率并增強玩家的沉浸感。
• 影視與元宇宙：生成高保真的動態場景，支持沉浸式體驗的開發，助力創意內容的快速生成。
• 具身智能訓練：提供豐富多樣的虛擬環境，為具身智能體的訓練數據提供支持，提升其任務執行能力。
• 教育與培訓：創建虛擬教學和職業技能培訓環境，幫助學生和學員更好地理解和實踐所學知識。
• 創意內容生成：為創意視頻制作和虛擬場景設計提供豐富素材，支持快速實現創意構思。

常見問題

• Matrix-Game的主要優勢是什么？ Matrix-Game具有細粒度的用戶交互控制、高保真視覺效果和多場景泛化能力，是虛擬世界構建的理想工具。
• 如何獲取Matrix-Game的最新信息？ 您可以訪問項目官網和GitHub倉庫獲取最新的更新和文檔。
• Matrix-Game適合哪些用戶使用？ 該模型適合游戲開發者、影視制作人、教育工作者以及任何需要生成虛擬內容的創作者。
• 可以在什么平臺上使用Matrix-Game？ Matrix-Game可在支持Python環境的平臺上使用，具體要求可參考GitHub倉庫的說明。