清華大學提出三維重建的新方法：O2-Recon，用2D擴散模型補全殘缺的3D物體

AIGC動態(tài)歡迎閱讀

原標題：清華大學提出三維重建的新方法：O2-Recon，用2D擴散模型補全殘缺的3D物體
關鍵字：物體,遮擋,研究者,模型,方法
文章來源：機器之心
內(nèi)容字數(shù)：5358字

內(nèi)容摘要：

機器之心專欄
機器之心編輯部在計算機視覺中，物體級別的三維表面重建技術面臨諸多挑戰(zhàn)。與場景級別的重建技術不同，物體級別的三維重建需要為場景中的每個物體給出的三維表示，以支持細粒度的場景建模和理解。這對 AR/VR/MR 以及機器人相關的應用具有重要意義。
許多現(xiàn)有方法利用三維生成模型的隱空間來完成物體級別的三維重建，這些方法用隱空間的編碼向量來表示物體形狀，并將重建任務建模成對物姿和形狀編碼的聯(lián)合估計。得益于生成模型隱空間的優(yōu)秀性質，這些方法可以重建出完整的物體形狀，但僅限于特定類別物體的三維重建，如桌子或椅子。即使在這些類別中，這類方法優(yōu)化得到的形狀編碼也往往難以準確匹配實際物體的三維形狀。另外一些方法則從數(shù)據(jù)庫中檢索合適的 CAD 模型，并輔以物姿估計來完成三維重建，這類方法也面臨著類似的問題，其可擴展性比較有限，重建準確性低，很難貼合物體真實的三維表面結構。
隨著 NeRF 和 NeuS 等技術的發(fā)展，imap 和 vMap 等技術能夠利用可微渲染來優(yōu)化物體的幾何結構，這些方法能夠重建出更加貼合真實物體表面的網(wǎng)格模型，也能夠重建多個類別的物體，打破單一物體類別的限制。

原文鏈接：清華大學提出三維重建的新方法：O2-Recon，用2D擴散模型補全殘缺的3D物體

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺