2D升維成3D的過程中，可見部分和不可見部分可以分開建模

原標題：一秒內從單個圖像生成3D對象，支持實時編輯，Stability AI推出3D生成新方法SPAR3D
文章來源：機器之心
內容字數：5027字

Stability AI發布全新3D生成模型SPAR3D：高效、精確、可編輯

Stability AI在CES上發布了其最新的3D生成模型SPAR3D（Stable Point Aware 3D），該模型采用兩階段方法，在速度和精度方面取得了顯著突破，為游戲開發者、產品設計師和環境構建者提供了全新的3D原型設計方式。

1. SPAR3D的核心優勢

SPAR3D的核心優勢在于其高效性、精確性和可編輯性。它能夠在不到一秒鐘的時間內從單個圖像生成高度詳細的3D網格，包括通常隱藏的區域。此外，SPAR3D允許用戶直接編輯生成的點云，實現前所未有的控制，例如刪除、復制、拉伸、添加特征或重新著色點。

2. 兩階段重建系統

SPAR3D采用兩階段重建系統：第一階段使用輕量級點擴散模型生成稀疏3D點云，速度快；第二階段使用采樣點云和輸入圖像創建高度詳細的網格。這種設計將復雜的不確定性計算集中在點采樣階段，網格化階段則專注于細節生成，從而提升了整體效果和計算效率。

3. 點云作為中間表示的優勢

選擇點云作為連接兩個階段的中間表示是SPAR3D的關鍵。點云是計算效率最高的3D表示方式之一，其缺乏連接性的特點也方便了用戶編輯。用戶可以在低分辨率點云上輕松進行局部編輯，然后生成符合需求的網格。

4. 性能超越現有方法

在GSO和Omniobject3D數據集上的評估結果表明，SPAR3D在大多數評估指標上都顯著優于其他回歸或生成式基線方法。相比其他方法生成的3D模型，SPAR3D能更忠實地重現輸入圖像，并更合理地生成被遮擋部分的細節，展現出其在真實場景圖像上的出色泛化性能。

5. 可編輯性與消融實驗

SPAR3D的可編輯性是其一大亮點，用戶可以靈活地修改重建網格的不可見部分。通過消融實驗，研究團隊驗證了點采樣階段的關鍵作用，證明了該兩階段設計的有效性。

6. 可見部分與不可見部分的分離建模

SPAR3D的一個關鍵設計理念是將單目3D重建中的不確定部分（背面建模）和確定性部分（可見表面建模）有效分離。通過一個特殊實驗（將不匹配的數據輸入系統），研究團隊驗證了系統能夠分別處理可見和不可見部分的重建工作。

總而言之，SPAR3D 憑借其高效的兩階段方法、基于點云的中間表示以及強大的可編輯性，在單圖像3D重建領域取得了顯著進展，為3D內容創作帶來了新的可能性。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺