Multiverse

Multiverse – Enigma Labs推出的全球首款AI生成多人游戲模型

Multiverse

Multiverse是由團隊Enigma Labs開發的全球首個AI驅動的多人游戲模型。這款多人賽車游戲的設計允許玩家在游戲中超車、漂移和加速，他們的每一個動作都會實時影響和重塑游戲世界。該模型利用AI技術生成實時的游戲畫面，確保所有玩家在同一個邏輯一致的環境中體驗游戲。

Multiverse是什么

Multiverse是由的Enigma Labs團隊推出的全球首個基于AI生成的多人游戲模型，專注于賽車游戲的體驗。玩家在賽道上進行超車、漂移和加速等操作，每一次的決策都會即時影響游戲的世界。該模型通過AI技術實時生成畫面，確保兩個玩家看到的是同一邏輯統一的環境。Multiverse利用擴散模型，將玩家的視角和動作融合處理，生成一致且連貫的游戲畫面。其核心技術在于創新的多人世界模型架構，通過聯合動作向量和雙視角通道堆疊技術，成功解決了多用戶環境下視角一致性的問題。此外，該模型的訓練成本低至1500美元，可在普通個人電腦上運行，項目的代碼、數據、權重和研究成果已全面開源，推動了AI在多人游戲領域的應用。

Multiverse的主要功能

實時多人互動：支持玩家在同一虛擬環境中實時互動，如賽車游戲中的超車和碰撞，保證雙方視角一致。
動態世界生成：根據玩家的操作和動作實時生成游戲畫面。
高效幀預測：精準預測即將到來的游戲幀，確保游戲流暢性和連貫性。
低成本運行：可在普通PC上運行，無需高性能硬件，降低了使用門檻。

Multiverse的技術原理

多人游戲架構：為了構建真實的多人游戲世界模型，Multiverse重新設計了輸入和輸出的連接，對核心構建模塊進行了拆解。模型包括：
- 動作嵌入器：獲取兩個玩家的動作并生成代表它們的嵌入。
- 去噪網絡：利用擴散網絡，根據兩個玩家之前的幀和動作嵌入，同時生成兩個玩家的幀。
- 上采樣器：接收兩個玩家的幀并計算其上采樣后的版本。
視角合并解決方案：為了實現良好的多人游戲體驗，模型收集玩家的歷史幀和動作，輸出各自預測的幀。關鍵在于保持內部一致性。Multiverse采用將兩名玩家的視角整合成一幅圖像的方式，將輸入融合為一個聯合動作向量，從而形成一個統一的場景。
訓練方法
- 上下文擴展：為準確預測下一幀，模型需要接收玩家的動作和足夠的幀數，以計算相對速度。研究表明，提供8幀（30幀/秒）足以讓模型學習車輛學，但需要擴展上下文大小以捕獲相對。
- 多人游戲訓練：為了讓模型學習駕駛技術和互動，必須在互動場景中進行訓練。Multiverse將訓練模型的自回歸預測范圍從0.25秒逐步增加到15秒，以提高模型的物理一致性和幀間一致性。
- 高效的長視野訓練：為解決長時間預測對VRAM的挑戰，Multiverse采用分頁方式進行自回歸預測，逐步加載數據以避免內存限制。