Multiverse – Enigma Labs推出的全球首款AI生成多人游戲模型

Multiverse是由團隊Enigma Labs開發的全球首個AI驅動的多人游戲模型。這款多人賽車游戲的設計允許玩家在游戲中超車、漂移和加速，他們的每一個動作都會實時影響和重塑游戲世界。該模型利用AI技術生成實時的游戲畫面，確保所有玩家在同一個邏輯一致的環境中體驗游戲。

Multiverse是什么

Multiverse是由的Enigma Labs團隊推出的全球首個基于AI生成的多人游戲模型，專注于賽車游戲的體驗。玩家在賽道上進行超車、漂移和加速等操作，每一次的決策都會即時影響游戲的世界。該模型通過AI技術實時生成畫面，確保兩個玩家看到的是同一邏輯統一的環境。Multiverse利用擴散模型，將玩家的視角和動作融合處理，生成一致且連貫的游戲畫面。其核心技術在于創新的多人世界模型架構，通過聯合動作向量和雙視角通道堆疊技術，成功解決了多用戶環境下視角一致性的問題。此外，該模型的訓練成本低至1500美元，可在普通個人電腦上運行，項目的代碼、數據、權重和研究成果已全面開源，推動了AI在多人游戲領域的應用。

Multiverse的主要功能

• 實時多人互動：支持玩家在同一虛擬環境中實時互動，如賽車游戲中的超車和碰撞，保證雙方視角一致。
• 動態世界生成：根據玩家的操作和動作實時生成游戲畫面。
• 高效幀預測：精準預測即將到來的游戲幀，確保游戲流暢性和連貫性。
• 低成本運行：可在普通PC上運行，無需高性能硬件，降低了使用門檻。

Multiverse的技術原理

• 多人游戲架構：為了構建真實的多人游戲世界模型，Multiverse重新設計了輸入和輸出的連接，對核心構建模塊進行了拆解。模型包括：
  • 動作嵌入器：獲取兩個玩家的動作并生成代表它們的嵌入。
  • 去噪網絡：利用擴散網絡，根據兩個玩家之前的幀和動作嵌入，同時生成兩個玩家的幀。
  • 上采樣器：接收兩個玩家的幀并計算其上采樣后的版本。
• 視角合并解決方案：為了實現良好的多人游戲體驗，模型收集玩家的歷史幀和動作，輸出各自預測的幀。關鍵在于保持內部一致性。Multiverse采用將兩名玩家的視角整合成一幅圖像的方式，將輸入融合為一個聯合動作向量，從而形成一個統一的場景。
• 訓練方法
  • 上下文擴展：為準確預測下一幀，模型需要接收玩家的動作和足夠的幀數，以計算相對速度。研究表明，提供8幀（30幀/秒）足以讓模型學習車輛學，但需要擴展上下文大小以捕獲相對。
  • 多人游戲訓練：為了讓模型學習駕駛技術和互動，必須在互動場景中進行訓練。Multiverse將訓練模型的自回歸預測范圍從0.25秒逐步增加到15秒，以提高模型的物理一致性和幀間一致性。
  • 高效的長視野訓練：為解決長時間預測對VRAM的挑戰，Multiverse采用分頁方式進行自回歸預測，逐步加載數據以避免內存限制。

Multiverse的項目地址

• 項目官網：https://enigma-labs.io/blog
• GitHub倉庫：https://github.com/EnigmaLabsAI/multiverse
• HuggingFace模型庫：https://huggingface.co/Enigma-AI

Multiverse的數據集

• 數據來源：模型訓練的數據主要來自索尼的《GT賽車4》（Gran Turismo 4）。
• 數據收集方法：通過游戲內的回放系統，記錄每場比賽的兩個視角，利用計算機視覺逐幀提取游戲屏幕上的控制指令。
• 自動數據生成：編寫腳本向游戲的B-Spec模式發送隨機輸入，自動生成比賽回放畫面，從而捕捉AI驅動的比賽視頻。

Multiverse的應用場景

• 多人游戲開發：用于開發更真實的多人在線游戲，提升互動體驗。
• VR/AR應用：創建共享的虛擬環境，增強沉浸感和社交性。
• AI訓練與研究：作為開源模型，訓練智能代理，研究復雜環境下的決策與協作。
• 教育與培訓：構建虛擬訓練場景，用于駕駛、軍事演習或團隊合作培訓。
• 娛樂與社交：開發虛擬聚會和在線活動，提供新穎的社交體驗。
• 模擬經營游戲：在模擬經營游戲中，玩家可進行資源管理和城市發展等操作，每個決策都影響整個模擬世界的經濟和生態平衡。