SPAR3D – Stability AI等機構推出的單試圖重建 3D 網絡模型

SPAR3D是什么

SPAR3D是由Stability AI和伊利諾伊大學香檳分校聯合開發的一種先進技術，旨在通過單張圖片高效生成高質量的3D模型。該方法采用了兩階段的設計理念，在第一階段利用點擴散模型生成稀疏的3D點云，而在第二階段則結合采樣的點云和輸入圖像，生成高度精細的網格。SPAR3D將回歸模型與生成模型的優點結合在一起，能夠準確重建圖像中可見的表面，同時合理推測被遮擋部分的幾何形狀和紋理細節。這一技術在多個數據集上表現優異，推理速度極快，并且支持用戶對生成的網格進行交互式編輯，為單視圖3D重建提供了一種實用且高效的解決方案。

SPAR3D的主要功能

• 單視圖3D重建：能夠從一張2D圖像中重建出高質量的3D網格模型，廣泛應用于增強現實、電影制作、制造業等需要3D建模的領域。
• 快速推理：具備高效的推理性能，重建每個物體的時間僅需0.7秒，適合實時應用的需求。
• 用戶編輯支持：生成的3D網格允許用戶進行交互式編輯，用戶可以基于點云的修改調整未見表面的細節，如添加部件或改善局部特征，以滿足個性化需求。
• 強大的泛化能力：不僅在標準數據集上表現卓越，還能在多圖像和AI生成圖像上實現準確的幾何結構重建和優良的紋理效果，展現出強大的泛化性能。

SPAR3D的技術原理

• 兩階段設計：
  • 點采樣階段：使用輕量級點擴散模型生成稀疏的3D點云。該模型基于DDPM框架，采用前向過程向原始點云添加噪聲，再通過后向過程的去噪器學習去除噪聲，從而生成包含XYZ和RGB信息的點云。點擴散模型的低分辨率特性使得采樣速度迅速，能夠初步捕捉物體的基本形狀和顏色信息。
  • 網格化階段：將采樣得到的點云和輸入圖像作為條件，利用大型三平面Transformer生成高分辨率的三平面特征。這些特征用于估計物體的幾何形狀、紋理、光照及材質屬性（如金屬度和粗糙度）。通過可微分渲染器進行訓練，將預測的幾何和材質渲染成圖像，與真實圖像進行比較，從而優化模型參數，生成與輸入圖像高度一致且細節豐富的3D網格。
• 點云作為中間表示：點云作為連接兩個階段的橋梁，為網格化階段提供必要的幾何和顏色信息，支持用戶在點云層面進行編輯，增強模型的靈活性和交互性。
• 概率建模與逆渲染：在點采樣階段，基于概率建模處理單視圖3D重建中的不確定性問題，生成合理的點云分布。在網格化階段，通過逆渲染技術將點云與圖像信息融合，推測出物體的詳細幾何結構和材質屬性，從而解決從單張圖像中分離幾何、光照和材質的難題。

SPAR3D的項目地址

• 項目官網：https://spar3d
• GitHub倉庫：https://github.com/Stability-AI/stable-point-aware-3d
• HuggingFace模型庫：https://huggingface.co/stabilityai/stable-point-aware-3d
• arXiv技術論文：https://arxiv.org/pdf/2501.04689

SPAR3D的應用場景

• 家居設計：用戶拍攝家中沙發的照片，生成3D模型，在增強現實環境中預覽不同風格沙發的搭配效果，幫助做出購買決策。
• 電影制作：拍攝古堡遺址的照片，生成古堡的3D模型，特效團隊可以在此基礎上創作出符合劇情需要的宏偉古堡場景。
• 工業設計：拍攝無人機原型的照片，生成3D模型，設計師能夠在模型上調整結構，優化無人機的性能。
• 游戲開發：拍攝森林的照片，生成森林的3D模型，開發者可以添加游戲元素，構建出森林探險的場景。
• 文物修復：拍攝破損佛像的照片，生成3D模型，專家能夠據此分析結構，制定修復方案，幫助佛像恢復原貌。

常見問題

• SPAR3D支持哪些類型的圖像？ SPAR3D可以處理多種類型的2D圖像，只要圖像足夠清晰，便可進行高質量的3D重建。
• 生成的3D模型可以進行哪些編輯？ 用戶可以在生成的3D網格上進行交互式編輯，例如添加、刪除或修改模型的細節，滿足個性化需求。
• SPAR3D的推理速度是多少？ SPAR3D的推理速度非常快，平均每個物體的重建時間僅需0.7秒，適合實時應用。
• 如何獲取SPAR3D的最新信息和更新？ 用戶可以訪問SPAR3D的官方網站及其GitHub倉庫，獲取最新的技術信息和更新。