WonderPlay – 斯坦福聯(lián)合猶他大學(xué)推出的動(dòng)態(tài)3D場(chǎng)景生成框架

WonderPlay 是由斯坦福大學(xué)與猶他大合開發(fā)的創(chuàng)新框架，能夠根據(jù)單幅圖像和用戶定義的動(dòng)作生成動(dòng)態(tài)的3D場(chǎng)景。該系統(tǒng)結(jié)合了物理模擬和視頻生成技術(shù)，通過物理求解器生成初步的3D動(dòng)態(tài)效果，再利用視頻生成器合成更真實(shí)的視頻，從而實(shí)現(xiàn)動(dòng)態(tài)3D場(chǎng)景的閉環(huán)更新。WonderPlay 支持多種物理材質(zhì)（如剛體、布料、液體、氣體等）和多種動(dòng)作（如重力、風(fēng)力、點(diǎn)力等），讓用戶能夠輕松與場(chǎng)景互動(dòng)，創(chuàng)造出豐富多彩的動(dòng)態(tài)效果。

WonderPlay 是什么

WonderPlay 是一種全新的框架，旨在從單張圖片及用戶設(shè)定的動(dòng)作中生成動(dòng)態(tài)3D場(chǎng)景。它利用物理模擬與視頻生成的結(jié)合，通過物理求解器來模擬初步的3D動(dòng)態(tài)，然后驅(qū)動(dòng)視頻生成器合成更為真實(shí)的視頻，以更新動(dòng)態(tài)3D場(chǎng)景，實(shí)現(xiàn)模擬與生成之間的良性循環(huán)。WonderPlay 具備多種物理材質(zhì)的支持，用戶可以通過簡(jiǎn)單的操作與場(chǎng)景互動(dòng)，從而生成多樣化的動(dòng)態(tài)效果。

WonderPlay 的主要功能

• 單圖動(dòng)態(tài)場(chǎng)景生成：用戶只需提供一張圖片和設(shè)定的動(dòng)作，即可生成動(dòng)態(tài)3D場(chǎng)景，展現(xiàn)動(dòng)作的物理反饋。
• 多材質(zhì)支持：支持剛體、布料、液體、氣體、彈性體、顆粒等多種物理材質(zhì)，滿足各種場(chǎng)景需求。
• 動(dòng)作響應(yīng)：系統(tǒng)支持重力、風(fēng)力、點(diǎn)力等多種動(dòng)作輸入，使用戶能夠直觀地與場(chǎng)景交互，生成不同的動(dòng)態(tài)效果。
• 視覺與物理逼真度：通過物理模擬的精確性與視頻生成的豐富性，生成符合物理規(guī)律且視覺上逼真的動(dòng)態(tài)場(chǎng)景。
• 交互式體驗(yàn)：配備交互式查看器，用戶可以探索生成的動(dòng)態(tài)3D場(chǎng)景，提升沉浸式體驗(yàn)。

WonderPlay 的技術(shù)原理

• 混合生成式模擬器：結(jié)合物理求解器與視頻生成器，通過物理求解器模擬初步的3D動(dòng)態(tài)，并利用視頻生成器合成真實(shí)的視頻，以更新動(dòng)態(tài)3D場(chǎng)景，從而實(shí)現(xiàn)模擬與生成的閉環(huán)。
• 空間變化雙模態(tài)控制：在視頻生成階段，通過（流場(chǎng)）和外觀（RGB）雙模態(tài)信號(hào)控制視頻生成器，根據(jù)場(chǎng)景區(qū)域的動(dòng)態(tài)變化調(diào)整生成器的職責(zé)，確保生成的視頻在動(dòng)態(tài)和外觀上更接近物理模擬的結(jié)果。
• 3D場(chǎng)景重建：從輸入的圖像中重建背景與物體，背景通過快速分層高斯曲面（FLAGS）表示，而物體則構(gòu)建為具有拓?fù)溥B接性的“拓?fù)涓咚骨妗保怨烙?jì)物體的材質(zhì)屬性，為后續(xù)的模擬與生成奠定基礎(chǔ)。

WonderPlay 的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://kyleleey.github.io/WonderPlay/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2505.18151

WonderPlay 的應(yīng)用場(chǎng)景

• AR/VR場(chǎng)景構(gòu)建：用于創(chuàng)建沉浸式虛擬環(huán)境，支持用戶與場(chǎng)景進(jìn)行動(dòng)態(tài)交互。
• 影視特效制作：快速生成動(dòng)態(tài)場(chǎng)景原型，輔助特效制作，提升視覺效果。
• 教育與職業(yè)培訓(xùn)：模擬物理現(xiàn)象和工作環(huán)境，增強(qiáng)教學(xué)和培訓(xùn)的實(shí)踐性。
• 游戲開發(fā)：生成動(dòng)態(tài)場(chǎng)景和交互效果，提高游戲的真實(shí)感和趣味性。
• 廣告與營(yíng)銷：制作動(dòng)態(tài)廣告內(nèi)容，提供互動(dòng)體驗(yàn)，增強(qiáng)觀眾的參與感。

常見問題

• WonderPlay 能支持哪些類型的圖像？：WonderPlay 可以處理各種類型的圖像，包括自然景觀、城市建筑以及人物等。
• 我如何能夠開始使用 WonderPlay？：您可以訪問項(xiàng)目官網(wǎng)，按照提供的指導(dǎo)進(jìn)行操作。
• WonderPlay 的學(xué)習(xí)曲線如何？：WonderPlay 旨在提供用戶友好的界面，用戶可通過簡(jiǎn)單的操作快速上手。
• 這個(gè)框架適合哪些行業(yè)？：WonderPlay 廣泛適用于影視制作、教育、游戲開發(fā)及廣告營(yíng)銷等多個(gè)領(lǐng)域。