MineWorld

MineWorld – 微軟研究院開源的實時交互式世界模型

MineWorld

MineWorld是什么

MineWorld是微軟研究院開發并開源的一個基于《我的世界》（Minecraft）的實時互動世界模型。該模型采用了視覺-動作自回歸Transformer架構，將游戲場景和玩家動作轉化為離散的token ID，并通過下一個token的預測進行訓練。MineWorld具備并行解碼算法，能夠以每秒4到7幀的速度生成畫面，支持實時互動，提供高質量的游戲體驗。

MineWorld的主要功能

優質生成效果：依托視覺-動作自回歸Transformer架構，MineWorld能夠生成連貫且高保真的游戲幀，提升視覺體驗。
卓越的可控性：通過動作跟隨能力的評估，MineWorld展現出精確且一致的反應，能夠根據玩家的輸入生成準確的場景變化。
迅速的推理速度：得益于并行解碼算法，MineWorld能以每秒4至7幀的速度生成圖像，確保實時互動的流暢性。
游戲代理：MineWorld在訓練時可同時預測游戲狀態和動作，具備作為游戲代理進行自主游戲的能力。
實時互動功能：用戶能夠通過網絡演示或本地運行與模型進行實時互動，選擇初始畫面、控制視角移動并執行游戲動作。

MineWorld的技術原理

視覺-動作自回歸Transformer：MineWorld通過將游戲場景和玩家動作轉化為離散的token序列，實現視覺與動作的聯合建模。具體而言：
- 圖像標記器（Visual Tokenizer）：采用VQ-VAE架構，將游戲場景分割為離散的視覺標記，并在Minecraft數據集上進行微調，以實現高質量的圖像重建。
- 動作標記器（Action Tokenizer）：將玩家的連續動作（如鼠標移動）轉化為離散標記，并將不同的動作（如前進、攻擊）歸類，每類由唯一標記表示。
- Transformer解碼器：基于LLaMA架構，接收交錯拼接的視覺標記和動作標記序列作為輸入，通過下一個標記的預測進行訓練，從而學習游戲狀態的豐富表示及其與動作之間的關系。
并行解碼算法：為實現實時互動，MineWorld研發了一種并行解碼算法，利用相鄰圖像標記之間的空間依賴性，能夠同時預測每幀中的空間冗余標記，大幅提升生成速度。
訓練過程：模型通過下一個標記的預測進行訓練，學習游戲狀態的動態演變規律及動作與狀態之間的關聯。
推理階段：在推理時，模型根據當前游戲狀態和動作生成后續場景，并利用并行解碼算法快速生成高質量游戲幀。
評估標準：MineWorld提出新的評估指標，用于評估生成場景的視覺質量和動作跟隨能力，通過比較生成場景中預測的動作與真實動作的準確性來量化模型的可控性。

MineWorld的項目官網

Github倉庫：https://github.com/microsoft/MineWorld
HuggingFace模型庫：https://huggingface.co/microsoft/mineworld
arXiv技術論文：https://arxiv.org/pdf/2504.08388

MineWorld的應用場景

具身智能研究：MineWorld提供了一個高保真且可交互的虛擬環境，適合用于具身智能的研究。研究人員可以利用該模型訓練智能體，學習如何在虛擬環境中執行任務，如物體定位和環境探索。
強化學習訓練：憑借其實時互動能力和高生成質量，MineWorld成為強化學習訓練的理想平臺。研究人員可以快速生成大量訓練數據，幫助智能體在模擬環境中學習最佳策略。
游戲代理開發：由于MineWorld在訓練過程中同時預測游戲狀態和動作，具備作為游戲代理的潛力。給定初始狀態和動作，模型可以迭代生成未來的狀態和動作，模擬長時間的游戲過程。
實時交互模擬：MineWorld的快速推理速度（每秒4至7幀）支持與玩家的實時互動，提升游戲體驗。
視頻生成與編輯：MineWorld能夠生成高質量且連貫一致的游戲視頻，適用于視頻內容創作，如游戲預告片和教學視頻等。