WonderPlay

WonderPlay – 斯坦福聯(lián)合猶他大學(xué)推出的動態(tài)3D場景生成框架

WonderPlay 是由斯坦福大學(xué)與猶他大合開發(fā)的創(chuàng)新框架，能夠根據(jù)單幅圖像和用戶定義的動作生成動態(tài)的3D場景。該系統(tǒng)結(jié)合了物理模擬和視頻生成技術(shù)，通過物理求解器生成初步的3D動態(tài)效果，再利用視頻生成器合成更真實的視頻，從而實現(xiàn)動態(tài)3D場景的閉環(huán)更新。WonderPlay 支持多種物理材質(zhì)（如剛體、布料、液體、氣體等）和多種動作（如重力、風(fēng)力、點力等），讓用戶能夠輕松與場景互動，創(chuàng)造出豐富多彩的動態(tài)效果。

WonderPlay 是什么

WonderPlay 是一種全新的框架，旨在從單張圖片及用戶設(shè)定的動作中生成動態(tài)3D場景。它利用物理模擬與視頻生成的結(jié)合，通過物理求解器來模擬初步的3D動態(tài)，然后驅(qū)動視頻生成器合成更為真實的視頻，以更新動態(tài)3D場景，實現(xiàn)模擬與生成之間的良性循環(huán)。WonderPlay 具備多種物理材質(zhì)的支持，用戶可以通過簡單的操作與場景互動，從而生成多樣化的動態(tài)效果。

WonderPlay 的主要功能

• 單圖動態(tài)場景生成：用戶只需提供一張圖片和設(shè)定的動作，即可生成動態(tài)3D場景，展現(xiàn)動作的物理反饋。
• 多材質(zhì)支持：支持剛體、布料、液體、氣體、彈性體、顆粒等多種物理材質(zhì)，滿足各種場景需求。
• 動作響應(yīng)：系統(tǒng)支持重力、風(fēng)力、點力等多種動作輸入，使用戶能夠直觀地與場景交互，生成不同的動態(tài)效果。
• 視覺與物理逼真度：通過物理模擬的精確性與視頻生成的豐富性，生成符合物理規(guī)律且視覺上逼真的動態(tài)場景。
• 交互式體驗：配備交互式查看器，用戶可以探索生成的動態(tài)3D場景，提升沉浸式體驗。

WonderPlay 的技術(shù)原理

• 混合生成式模擬器：結(jié)合物理求解器與視頻生成器，通過物理求解器模擬初步的3D動態(tài)，并利用視頻生成器合成真實的視頻，以更新動態(tài)3D場景，從而實現(xiàn)模擬與生成的閉環(huán)。
• 空間變化雙模態(tài)控制：在視頻生成階段，通過（流場）和外觀（RGB）雙模態(tài)信號控制視頻生成器，根據(jù)場景區(qū)域的動態(tài)變化調(diào)整生成器的職責(zé)，確保生成的視頻在動態(tài)和外觀上更接近物理模擬的結(jié)果。
• 3D場景重建：從輸入的圖像中重建背景與物體，背景通過快速分層高斯曲面（FLAGS）表示，而物體則構(gòu)建為具有拓?fù)溥B接性的“拓?fù)涓咚骨妗保怨烙嬑矬w的材質(zhì)屬性，為后續(xù)的模擬與生成奠定基礎(chǔ)。

WonderPlay 的項目地址

• 項目官網(wǎng)：https://kyleleey.github.io/WonderPlay/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2505.18151

WonderPlay 的應(yīng)用場景

• AR/VR場景構(gòu)建：用于創(chuàng)建沉浸式虛擬環(huán)境，支持用戶與場景進(jìn)行動態(tài)交互。
• 影視特效制作：快速生成動態(tài)場景原型，輔助特效制作，提升視覺效果。
• 教育與職業(yè)培訓(xùn)：模擬物理現(xiàn)象和工作環(huán)境，增強(qiáng)教學(xué)和培訓(xùn)的實踐性。
• 游戲開發(fā)：生成動態(tài)場景和交互效果，提高游戲的真實感和趣味性。
• 廣告與營銷：制作動態(tài)廣告內(nèi)容，提供互動體驗，增強(qiáng)觀眾的參與感。

常見問題

• WonderPlay 能支持哪些類型的圖像？：WonderPlay 可以處理各種類型的圖像，包括自然景觀、城市建筑以及人物等。
• 我如何能夠開始使用 WonderPlay？：您可以訪問項目官網(wǎng)，按照提供的指導(dǎo)進(jìn)行操作。
• WonderPlay 的學(xué)習(xí)曲線如何？：WonderPlay 旨在提供用戶友好的界面，用戶可通過簡單的操作快速上手。
• 這個框架適合哪些行業(yè)？：WonderPlay 廣泛適用于影視制作、教育、游戲開發(fā)及廣告營銷等多個領(lǐng)域。