邁入4D新時代：單視角視頻如何重塑我們的視覺體驗！

這項研究將進(jìn)一步改進(jìn)自動駕駛場景的重建效果。

原標(biāo)題：世界模型進(jìn)入4D時代！單視角視頻構(gòu)建的視角4D世界來了
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：4975字

ReconDreamer：自動駕駛場景重建的新突破

近年來，人工智能技術(shù)以驚人的速度改變著我們對世界的認(rèn)知。李飛飛教授團(tuán)隊的研究表明，單張圖片生成三維物理世界的能力展現(xiàn)了空間智能的巨大潛力。最近，極佳科技與北京大學(xué)、理想汽車及中國科學(xué)院自動化研究所共同推出了ReconDreamer，這一技術(shù)使得自動駕駛場景的視角重建和生成成為可能。

研究背景與挑戰(zhàn)

閉環(huán)仿真是實現(xiàn)大規(guī)模端到端自動駕駛的重要步驟，其中場景重建是關(guān)鍵環(huán)節(jié)。然而，現(xiàn)有的場景重建技術(shù)如NeRF和3DGS受到訓(xùn)練數(shù)據(jù)分布的限制，難以高效重建復(fù)雜駕駛環(huán)境。ReconDreamer通過訓(xùn)練世界模型，采用漸進(jìn)式修復(fù)策略，顯著提升了在大范圍視角變化下的渲染質(zhì)量。

ReconDreamer的創(chuàng)新框架

ReconDreamer的整體框架首先利用傳統(tǒng)方法進(jìn)行場景重建，然后采樣新軌跡進(jìn)行渲染。通過引入DriveRestorer，ReconDreamer能夠修復(fù)低質(zhì)量視頻，消除偽影與缺陷。此外，采用漸進(jìn)式數(shù)據(jù)更新策略，從小位移渲染開始，逐步擴展到大范圍渲染，以提升渲染質(zhì)量。

實驗結(jié)果與性能提升

實驗結(jié)果顯示，ReconDreamer在大范圍相機中表現(xiàn)出色，顯著提升了動態(tài)駕駛場景的渲染質(zhì)量，消除了“鬼影”現(xiàn)象，并增強了交通元素的清晰度。定量實驗表明，相較于傳統(tǒng)三維重建算法，ReconDreamer在復(fù)雜場景中的渲染效果更加優(yōu)秀，并獲得了用戶的高度認(rèn)可，超過95%的投票率支持其渲染效果。

總結(jié)與未來展望

ReconDreamer是極佳科技團(tuán)隊在DriveDreamer系列工作的延續(xù)，致力于提升自動駕駛場景重建的精度和可靠性。這一技術(shù)不僅為端到端自動駕駛系統(tǒng)的開發(fā)提供了更加真實的環(huán)境，也為未來4D空間智能的應(yīng)用奠定了基礎(chǔ)，具有廣泛的應(yīng)用前景。

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺