Scenethesis – 英偉達(dá)推出的交互式3D場(chǎng)景生成框架

Scenethesis是什么

Scenethesis 是由 NVIDIA 開發(fā)的前沿框架，旨在將文本描述轉(zhuǎn)化為互動(dòng)式3D場(chǎng)景。該框架融合了大型語言模型（LLM）和視覺感知技術(shù)，通過多階段處理流程實(shí)現(xiàn)高效生成。首先，LLM負(fù)責(zé)進(jìn)行初步的布局規(guī)劃；接著，視覺模塊基于生成的提示進(jìn)行精細(xì)化布局，并提供圖像指導(dǎo)；然后，優(yōu)化模塊確保物體的姿態(tài)符合物理規(guī)則；最后，判斷模塊驗(yàn)證場(chǎng)景的空間一致性。Scenethesis 能夠生成多種多樣的室內(nèi)外場(chǎng)景，具備高度的真實(shí)感和物理合理性，廣泛應(yīng)用于虛擬內(nèi)容創(chuàng)作、仿真環(huán)境以及具身智能研究等領(lǐng)域。

Scenethesis的主要功能

• 文本轉(zhuǎn)3D場(chǎng)景：用戶只需輸入文本描述，AI便能夠自動(dòng)生成相應(yīng)的3D場(chǎng)景。
• 物理一致性：生成的場(chǎng)景確保物體不會(huì)相互穿透，并能夠穩(wěn)定地放置，符合物理定律。
• 用戶交互性：用戶可實(shí)時(shí)調(diào)整物體的位置、大小等，場(chǎng)景會(huì)隨之更新。
• 多樣化場(chǎng)景與模型庫(kù)：支持多種類型的室內(nèi)外場(chǎng)景，包含豐富的3D模型供用戶選擇。
• 場(chǎng)景質(zhì)量驗(yàn)證：自動(dòng)檢測(cè)場(chǎng)景的質(zhì)量，必要時(shí)進(jìn)行重新生成和優(yōu)化，以確保輸出質(zhì)量。

Scenethesis的技術(shù)原理

• 初步布局規(guī)劃（LLM模塊）：用戶提供文本描述后，LLM解析文本，理解場(chǎng)景的主題和關(guān)鍵元素，從預(yù)定義的3D模型庫(kù)中選擇相關(guān)物體，生成初步的布局計(jì)劃，并為后續(xù)的視覺細(xì)化提供基礎(chǔ)提示。
• 視覺細(xì)化（視覺模塊）：根據(jù)LLM提供的提示，視覺模塊（如基于擴(kuò)散模型的圖像生成器）生成詳細(xì)圖像，作為場(chǎng)景布局的指導(dǎo)。利用預(yù)訓(xùn)練的視覺基礎(chǔ)模型（如Grounded-SAM和DepthPro），對(duì)生成的圖像進(jìn)行分割和深度估計(jì)，提取場(chǎng)景圖，包括物體的3D邊界框及其空間關(guān)系。
• 物理優(yōu)化（物理優(yōu)化模塊）：通過語義匹配技術(shù)（如RoMa），對(duì)3D模型和圖像指導(dǎo)中的物體進(jìn)行姿態(tài)對(duì)齊，確保物體的位置、尺寸和方向與圖像指導(dǎo)相符。使用有符號(hào)距離場(chǎng)（SDF）技術(shù)檢測(cè)物體間的碰撞，并調(diào)整位置和尺寸以避免碰撞。
• 場(chǎng)景驗(yàn)證（場(chǎng)景驗(yàn)證模塊）：基于預(yù)訓(xùn)練的語言模型評(píng)估生成場(chǎng)景的空間連貫性，確保物體的位置和關(guān)系符合常識(shí)。如果評(píng)估結(jié)果不符合標(biāo)準(zhǔn)，系統(tǒng)將啟動(dòng)重新規(guī)劃和優(yōu)化過程，直到生成的場(chǎng)景達(dá)到高質(zhì)量要求。

Scenethesis的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://research.nvidia.com/labs/dir/scenethesis/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2505.02836

Scenethesis的應(yīng)用場(chǎng)景

• 虛擬現(xiàn)實(shí)（VR）/增強(qiáng)現(xiàn)實(shí)（AR）：創(chuàng)建富有沉浸感的虛擬環(huán)境，如虛擬旅游或展覽。
• 游戲開發(fā)：快速創(chuàng)建游戲關(guān)卡和虛擬世界，提升開發(fā)效率。
• 具身智能：為人工智能訓(xùn)練提供真實(shí)的虛擬場(chǎng)景，如家庭環(huán)境模擬。
• 虛擬內(nèi)容創(chuàng)作：生成電影、動(dòng)畫或廣告的場(chǎng)景原型，助力創(chuàng)作流程加速。
• 教育與培訓(xùn)：模擬實(shí)驗(yàn)室或培訓(xùn)場(chǎng)景，用于教學(xué)和技能練習(xí)。

常見問題

• Scenethesis支持哪些輸入格式？：用戶可以通過簡(jiǎn)潔的文本描述輸入場(chǎng)景需求。
• 生成的3D場(chǎng)景可以進(jìn)行哪些調(diào)整？：用戶可以實(shí)時(shí)調(diào)整物體的位置、大小和其他屬性，場(chǎng)景會(huì)即時(shí)更新。
• Scenethesis的輸出質(zhì)量如何保障？：系統(tǒng)內(nèi)置場(chǎng)景驗(yàn)證模塊，自動(dòng)評(píng)估和優(yōu)化生成的場(chǎng)景，以確保高質(zhì)量輸出。
• Scenethesis適合哪些行業(yè)使用？：廣泛應(yīng)用于虛擬內(nèi)容創(chuàng)作、游戲開發(fā)、教育培訓(xùn)等多個(gè)領(lǐng)域。