GameGen-O

GameGen-O 是騰訊推出的一款基于 Transformer 架構(gòu)的創(chuàng)新游戲視頻生成模型，旨在為開放世界視頻游戲的開發(fā)提供強(qiáng)大的支持。這個(gè)模型能夠模擬游戲引擎的多種功能，包括角色生成、動(dòng)態(tài)環(huán)境創(chuàng)建和復(fù)雜動(dòng)作模擬，用戶可以通過文本指令、操作信號(hào)和視頻提示與游戲內(nèi)容進(jìn)行交互控制。GameGen-O 的發(fā)布將對(duì)游戲開發(fā)行業(yè)帶來深遠(yuǎn)的影響，降低開發(fā)成本和時(shí)間，同時(shí)為玩家?guī)砀嗟膭?chuàng)作。

GameGen-O是什么

GameGen-O 是騰訊開發(fā)的一款基于 Transformer 架構(gòu)的游戲視頻生成模型，特別適用于開放世界視頻游戲的創(chuàng)作。該模型能夠模擬游戲引擎的多種功能，生成游戲角色、動(dòng)態(tài)環(huán)境和復(fù)雜動(dòng)作，并且支持用戶通過文本、操作信號(hào)和視頻提示來控制游戲內(nèi)容。GameGen-O 的開發(fā)過程涉及大量數(shù)據(jù)的收集與處理，創(chuàng)建了首個(gè)開放世界視頻游戲數(shù)據(jù)集（OGameData），并經(jīng)歷了基礎(chǔ)模型預(yù)訓(xùn)練和指令調(diào)整兩個(gè)階段。這一模型的推出將對(duì)游戲開發(fā)行業(yè)產(chǎn)生積極影響，能夠顯著降低開發(fā)成本和時(shí)間，并為玩家提供更大的創(chuàng)造空間。

GameGen-O的主要功能

• 角色生成：根據(jù)用戶的文本指令，生成多種類型的角色，如西部牛仔、宇航員和魔法師等。
• 環(huán)境生成：創(chuàng)造動(dòng)態(tài)的游戲環(huán)境，適應(yīng)不同的游戲風(fēng)格和場景需求。
• 動(dòng)作生成：支持生成復(fù)雜的角色動(dòng)作，包括駕駛、飛行和射擊等。
• 生成：能夠生成游戲中的各種，例如天氣變化和自然災(zāi)害等。
• 交互控制：用戶可以通過文本、操作信號(hào)和視頻提示與游戲內(nèi)容進(jìn)行交互，提升游戲的互動(dòng)體驗(yàn)。

GameGen-O的技術(shù)原理

• 開放域生成：GameGen-O 能夠生成各種類型的游戲元素，包括角色、環(huán)境、動(dòng)作和，極大地?cái)U(kuò)展了游戲設(shè)計(jì)的可能性。
• 交互式可控性：模型支持通過 InstructNet 分支進(jìn)行交互式控制，使用戶能夠調(diào)整角色行為、環(huán)境布局和觸發(fā)等。
• OGameData 數(shù)據(jù)集：為了訓(xùn)練 GameGen-O，團(tuán)隊(duì)構(gòu)建了大規(guī)模的開放世界電子游戲數(shù)據(jù)集 OGameData，涵蓋來自150多個(gè)游戲的4000多個(gè)小時(shí)的視頻片段，涉及多種游戲類型和風(fēng)格。
• 兩階段訓(xùn)練：模型采用了基礎(chǔ)模型預(yù)訓(xùn)練和指令微調(diào)的兩階段訓(xùn)練策略，確保生成高質(zhì)量的游戲視頻并具備根據(jù)用戶指令生成內(nèi)容的能力。
• 技術(shù)創(chuàng)新：GameGen-O 采用了多種先進(jìn)技術(shù)，如2+1D VAE視頻壓縮、混合訓(xùn)練策略和掩碼注意力機(jī)制，保證模型的穩(wěn)定性和生成質(zhì)量。
• 數(shù)據(jù)集構(gòu)建和訓(xùn)練過程：團(tuán)隊(duì)從互聯(lián)網(wǎng)上收集了32,000個(gè)原始視頻，經(jīng)過專家篩選和GPT-4o標(biāo)注，形成高質(zhì)量的訓(xùn)練數(shù)據(jù)。基礎(chǔ)訓(xùn)練階段使用變分自編碼器對(duì)視頻片段進(jìn)行壓縮，采用不同的幀速率和分辨率的混合訓(xùn)練策略。
• InstructNet：在微調(diào)階段，使用可訓(xùn)練的 InstructNet 接受多模態(tài)輸入，包括文本、操作信號(hào)和視頻提示，實(shí)現(xiàn)對(duì)生成內(nèi)容的靈活控制。

GameGen-O的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：gamegen-o.github.io
• Github倉庫：https://github.com/GameGen-O/GameGen-O/

GameGen-O的應(yīng)用場景

• 游戲原型制作：開發(fā)者可以使用 GameGen-O 快速制作游戲原型，測試不同的游戲元素，從而節(jié)省從零開始構(gòu)建游戲的時(shí)間和精力。
• 環(huán)境和場景生成：GameGen-O 能夠創(chuàng)造動(dòng)態(tài)的游戲環(huán)境和復(fù)雜的場景，為游戲世界增添豐富的視覺效果。
• 動(dòng)作和生成：模型支持生成復(fù)雜的角色動(dòng)作和多種游戲，如海嘯、龍卷風(fēng)和火災(zāi)等，增強(qiáng)游戲的互動(dòng)性和挑戰(zhàn)性。
• 輔助游戲開發(fā)：GameGen-O 可以在游戲開發(fā)環(huán)節(jié)提供支持，通過 AI 模型替代部分開發(fā)工作，提高開發(fā)效率。
• 研究和教育：對(duì)于研究者和教育者而言，GameGen-O 可作為研究工具，幫助探索視頻游戲 AI 開發(fā)、互動(dòng)控制和沉浸式虛擬環(huán)境等領(lǐng)域。