CVPR 2024滿分論文：浙大提出基于可變形三維高斯的高質(zhì)量單目動態(tài)重建新方法

AIGC動態(tài)1年前 (2024)發(fā)布機(jī)器之心

AIGC動態(tài)歡迎閱讀

原標(biāo)題：CVPR 2024滿分論文：浙大提出基于可變形三維高斯的高質(zhì)量單目動態(tài)重建新方法
關(guān)鍵字：場景,字節(jié)跳動,動態(tài),方法,浙江大學(xué)
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：7024字

內(nèi)容摘要：

機(jī)器之心專欄
機(jī)器之心編輯部單目動態(tài)場景（Monocular Dynamic Scene）是指使用單眼攝像頭觀察并分析的動態(tài)環(huán)境，其中場景中的物體可以移動。單目動態(tài)場景重建對于理解環(huán)境中的動態(tài)變化、預(yù)測物體軌跡以及動態(tài)數(shù)字資產(chǎn)生成等任務(wù)至關(guān)重要。
隨著以神經(jīng)輻射場（Neural Radiance Field, NeRF）為代表的神經(jīng)渲染的興起，越來越多的工作開始使用隱式表征（implicit representation）進(jìn)行動態(tài)場景的三維重建。盡管基于 NeRF 的一些代表工作，如 D-NeRF，Nerfies，K-planes 等已經(jīng)取得了令人滿意的渲染質(zhì)量，他們?nèi)匀痪嚯x真正的照片級真實(shí)渲染（photo-realistic rendering）存在一定的距離。
來自浙江大學(xué)、字節(jié)跳動的研究團(tuán)隊(duì)認(rèn)為，上述問題的根本原因在于基于光線投射（ray casting）的 NeRF pipeline 通過逆向映射（backward-flow）將觀測空間（observation space）映射到規(guī)范空間（canonical space）無法實(shí)現(xiàn)準(zhǔn)確且干凈的映射。逆向映射并不利于可學(xué)習(xí)結(jié)

原文鏈接：CVPR 2024滿分論文：浙大提出基于可變形三維高斯的高質(zhì)量單目動態(tài)重建新方法