HunyuanWorld-Voyager

HunyuanWorld-Voyager – 騰訊推出的超長(zhǎng)漫游世界模型

核心觀點(diǎn)： HunyuanWorld-Voyager 是騰訊發(fā)布的首款支持原生3D重建的超長(zhǎng)漫游世界模型，它通過創(chuàng)新的視頻擴(kuò)散框架，能夠從單張圖片生成用戶自定義相機(jī)路徑下的3D點(diǎn)云序列，實(shí)現(xiàn)3D一致場(chǎng)景視頻的生成，并能輸出對(duì)齊的深度和RGB視頻，從而高效地進(jìn)行3D重建。

HunyuanWorld-Voyager：開啟沉浸式3D世界漫游新紀(jì)元

騰訊隆重推出 HunyuanWorld-Voyager（簡(jiǎn)稱 混元Voyager），這款開創(chuàng)性的模型標(biāo)志著業(yè)界在原生3D重建領(lǐng)域邁出了重要一步。混元Voyager 并非僅僅是一個(gè)模型，它更是一個(gè)創(chuàng)新的視頻擴(kuò)散框架，能夠賦予用戶從單張靜態(tài)圖片出發(fā)，生成沿著其預(yù)設(shè)相機(jī)路徑漫游的3D點(diǎn)云序列的能力。更令人矚目的是，它能夠生成3D一致的場(chǎng)景視頻，讓用戶能夠真正沉浸式地探索由單張圖片構(gòu)建的廣闊世界，同時(shí)還能輸出精確對(duì)齊的深度與RGB視頻，為高效、直接的3D重建提供了強(qiáng)有力的支持。

HunyuanWorld-Voyager 的核心亮點(diǎn)

• 單圖變幻3D點(diǎn)云：該模型的核心能力之一在于，能夠根據(jù)用戶設(shè)定的相機(jī)視角軌跡，從一張圖片出發(fā)，生成連貫且3D一致的點(diǎn)云序列，從而實(shí)現(xiàn)遠(yuǎn)距離的世界探索。
• 3D一致場(chǎng)景視頻生成：混元Voyager 能夠沿著用戶精心設(shè)計(jì)的相機(jī)路徑，生成具有高度3D一致性的場(chǎng)景視頻，為用戶帶來前所未有的沉浸式3D場(chǎng)景漫游體驗(yàn)。
• 即時(shí)3D重建：模型生成的RGB與深度視頻可直接用于3D重建過程，大大簡(jiǎn)化了工作流程，無需額外引入復(fù)雜的重建工具，實(shí)現(xiàn)視頻到3D模型的快速轉(zhuǎn)化。
• 廣泛的應(yīng)用潛力：混元Voyager 的能力使其在視頻重建、圖像到3D轉(zhuǎn)換、視頻深度估計(jì)等多個(gè)3D理解與生成任務(wù)中大放異彩，展現(xiàn)出廣闊的應(yīng)用前景。
• 卓越的性能表現(xiàn)：在由斯坦福大學(xué)發(fā)布的權(quán)威WorldScore基準(zhǔn)測(cè)試中，HunyuanWorld-Voyager 在多項(xiàng)關(guān)鍵指標(biāo)上均取得了杰出成就，充分證明了其在3D場(chǎng)景生成與視頻擴(kuò)散方面的強(qiáng)大實(shí)力。

HunyuanWorld-Voyager 的技術(shù)基石

• 世界一致性視頻擴(kuò)散：模型采用統(tǒng)一的架構(gòu)設(shè)計(jì)，能夠同步生成對(duì)齊的RGB和深度視頻序列。通過將現(xiàn)有世界觀察作為條件，確保了全局層面的視覺一致性。
• 長(zhǎng)距離世界探索機(jī)制：借助高效的點(diǎn)剔除技術(shù)和自回歸推理，并輔以平滑的視頻采樣策略，模型得以實(shí)現(xiàn)迭代式的場(chǎng)景擴(kuò)展，同時(shí)維持上下文感知的一致性。
• 可擴(kuò)展數(shù)據(jù)引擎：混元Voyager 引入了一個(gè)創(chuàng)新的視頻重建流水線，能夠自動(dòng)化地完成相機(jī)姿態(tài)估計(jì)和度量深度預(yù)測(cè)。這使得模型能夠?yàn)槿我庖曨l生成大規(guī)模、多樣化的訓(xùn)練數(shù)據(jù)，無需人工進(jìn)行3D標(biāo)注。
• 自回歸推理與世界緩存：通過精密的點(diǎn)剔除和自回歸推理，結(jié)合世界緩存機(jī)制，模型能夠?qū)崿F(xiàn)迭代式的場(chǎng)景擴(kuò)展，并有效維持幾何一致性，從而支持任意相機(jī)軌跡的生成。
• 高效的3D重建流程：模型生成的RGB和深度視頻可以直接用于3D重建，省去了額外的重建工具，實(shí)現(xiàn)了從視頻到3D模型的快速、無縫轉(zhuǎn)換。

HunyuanWorld-Voyager 的應(yīng)用場(chǎng)景展望

• 視頻到3D的無縫轉(zhuǎn)換：通過生成對(duì)齊的RGB和深度視頻，混元Voyager 能夠?qū)崿F(xiàn)高效且直接的3D重建，無需額外的工具鏈。
• 從2D到3D的創(chuàng)意飛躍：從單張圖片生成3D一致的點(diǎn)云序列，為從2D圖像到3D場(chǎng)景的轉(zhuǎn)化提供了可能，特別適用于快速構(gòu)建虛擬場(chǎng)景。
• 深度信息的精準(zhǔn)洞察：生成與RGB視頻精確對(duì)齊的深度信息，為視頻分析和3D理解任務(wù)提供了關(guān)鍵數(shù)據(jù)支持。
• 賦能虛擬與增強(qiáng)現(xiàn)實(shí)：生成的3D場(chǎng)景和視頻能夠?yàn)榇蛟斐两絍R體驗(yàn)或功能豐富的AR應(yīng)用奠定基礎(chǔ)。
• 驅(qū)動(dòng)游戲開發(fā)的想象力：生成的3D場(chǎng)景資產(chǎn)可以無縫集成到主流游戲引擎中，為游戲開發(fā)者提供豐富的創(chuàng)意素材和內(nèi)容支持。
• 加速3D建模與動(dòng)畫流程：生成的3D點(diǎn)云和視頻可以作為3D建模和動(dòng)畫制作的寶貴輸入，顯著提升創(chuàng)作效率。

HunyuanWorld-Voyager 的項(xiàng)目資源

• 官方網(wǎng)站：https://3d-models.hunyuan.tencent.com/world/
• GitHub 倉(cāng)庫(kù)：https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager
• Hugging Face 模型庫(kù)：https://huggingface.co/tencent/HunyuanWorld-Voyager
• 技術(shù)報(bào)告：https://3d-models.hunyuan.tencent.com/voyager/voyager_en/assets/HYWorld_Voyager.pdf