GameGen-O

GameGen-O 是騰訊推出的一款基于 Transformer 架構的創新游戲視頻生成模型，旨在為開放世界視頻游戲的開發提供強大的支持。這個模型能夠模擬游戲引擎的多種功能，包括角色生成、動態環境創建和復雜動作模擬，用戶可以通過文本指令、操作信號和視頻提示與游戲內容進行交互控制。GameGen-O 的發布將對游戲開發行業帶來深遠的影響，降低開發成本和時間，同時為玩家帶來更多的創作。

GameGen-O是什么

GameGen-O 是騰訊開發的一款基于 Transformer 架構的游戲視頻生成模型，特別適用于開放世界視頻游戲的創作。該模型能夠模擬游戲引擎的多種功能，生成游戲角色、動態環境和復雜動作，并且支持用戶通過文本、操作信號和視頻提示來控制游戲內容。GameGen-O 的開發過程涉及大量數據的收集與處理，創建了首個開放世界視頻游戲數據集（OGameData），并經歷了基礎模型預訓練和指令調整兩個階段。這一模型的推出將對游戲開發行業產生積極影響，能夠顯著降低開發成本和時間，并為玩家提供更大的創造空間。

GameGen-O的主要功能

• 角色生成：根據用戶的文本指令，生成多種類型的角色，如西部牛仔、宇航員和魔法師等。
• 環境生成：創造動態的游戲環境，適應不同的游戲風格和場景需求。
• 動作生成：支持生成復雜的角色動作，包括駕駛、飛行和射擊等。
• 生成：能夠生成游戲中的各種，例如天氣變化和自然災害等。
• 交互控制：用戶可以通過文本、操作信號和視頻提示與游戲內容進行交互，提升游戲的互動體驗。

GameGen-O的技術原理

• 開放域生成：GameGen-O 能夠生成各種類型的游戲元素，包括角色、環境、動作和，極大地擴展了游戲設計的可能性。
• 交互式可控性：模型支持通過 InstructNet 分支進行交互式控制，使用戶能夠調整角色行為、環境布局和觸發等。
• OGameData 數據集：為了訓練 GameGen-O，團隊構建了大規模的開放世界電子游戲數據集 OGameData，涵蓋來自150多個游戲的4000多個小時的視頻片段，涉及多種游戲類型和風格。
• 兩階段訓練：模型采用了基礎模型預訓練和指令微調的兩階段訓練策略，確保生成高質量的游戲視頻并具備根據用戶指令生成內容的能力。
• 技術創新：GameGen-O 采用了多種先進技術，如2+1D VAE視頻壓縮、混合訓練策略和掩碼注意力機制，保證模型的穩定性和生成質量。
• 數據集構建和訓練過程：團隊從互聯網上收集了32,000個原始視頻，經過專家篩選和GPT-4o標注，形成高質量的訓練數據。基礎訓練階段使用變分自編碼器對視頻片段進行壓縮，采用不同的幀速率和分辨率的混合訓練策略。
• InstructNet：在微調階段，使用可訓練的 InstructNet 接受多模態輸入，包括文本、操作信號和視頻提示，實現對生成內容的靈活控制。

GameGen-O的項目地址

• 項目官網：gamegen-o.github.io
• Github倉庫：https://github.com/GameGen-O/GameGen-O/

GameGen-O的應用場景

• 游戲原型制作：開發者可以使用 GameGen-O 快速制作游戲原型，測試不同的游戲元素，從而節省從零開始構建游戲的時間和精力。
• 環境和場景生成：GameGen-O 能夠創造動態的游戲環境和復雜的場景，為游戲世界增添豐富的視覺效果。
• 動作和生成：模型支持生成復雜的角色動作和多種游戲，如海嘯、龍卷風和火災等，增強游戲的互動性和挑戰性。
• 輔助游戲開發：GameGen-O 可以在游戲開發環節提供支持，通過 AI 模型替代部分開發工作，提高開發效率。
• 研究和教育：對于研究者和教育者而言，GameGen-O 可作為研究工具，幫助探索視頻游戲 AI 開發、互動控制和沉浸式虛擬環境等領域。