清華大學提出三維重建的新方法：O2-Recon，用2D擴散模型補全殘缺的3D物體

AIGC動態歡迎閱讀

原標題：清華大學提出三維重建的新方法：O2-Recon，用2D擴散模型補全殘缺的3D物體
關鍵字：物體,遮擋,研究者,模型,方法
文章來源：機器之心
內容字數：5358字

內容摘要：

機器之心專欄
機器之心編輯部在計算機視覺中，物體級別的三維表面重建技術面臨諸多挑戰。與場景級別的重建技術不同，物體級別的三維重建需要為場景中的每個物體給出的三維表示，以支持細粒度的場景建模和理解。這對 AR/VR/MR 以及機器人相關的應用具有重要意義。
許多現有方法利用三維生成模型的隱空間來完成物體級別的三維重建，這些方法用隱空間的編碼向量來表示物體形狀，并將重建任務建模成對物姿和形狀編碼的聯合估計。得益于生成模型隱空間的優秀性質，這些方法可以重建出完整的物體形狀，但僅限于特定類別物體的三維重建，如桌子或椅子。即使在這些類別中，這類方法優化得到的形狀編碼也往往難以準確匹配實際物體的三維形狀。另外一些方法則從數據庫中檢索合適的 CAD 模型，并輔以物姿估計來完成三維重建，這類方法也面臨著類似的問題，其可擴展性比較有限，重建準確性低，很難貼合物體真實的三維表面結構。
隨著 NeRF 和 NeuS 等技術的發展，imap 和 vMap 等技術能夠利用可微渲染來優化物體的幾何結構，這些方法能夠重建出更加貼合真實物體表面的網格模型，也能夠重建多個類別的物體，打破單一物體類別的限制。

原文鏈接：清華大學提出三維重建的新方法：O2-Recon，用2D擴散模型補全殘缺的3D物體

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺