DiffSplat – 北大聯合字節推出的 3D 生成框架

DiffSplat是什么

DiffSplat是一種創新的3D生成技術，能夠根據文本提示和單視圖圖像快速構建3D高斯點陣（Gaussian Splats）。這種方法通過對預訓練的文本到圖像擴散模型進行微調，利用強大的2D先驗知識，并結合3D渲染損失，以確保生成的3D內容在不同視角下保持一致性。DiffSplat的顯著特點在于其高效性和靈活性，用戶可以在1到2秒內生成出高質量的3D對象，支持文本輸入、圖像輸入或二者的結合。輕量級的重建模型則用于創建結構化的高斯表示，為訓練提供了高質量的數據支持。

DiffSplat的主要功能

• 從文本或圖像生成3D高斯點陣：DiffSplat能夠直接從文本提示或單視圖圖像創建3D高斯點陣，確保3D內容的一致性。
• 高效利用2D先驗知識：通過微調大規模的文本到圖像擴散模型，DiffSplat有效利用網絡規模的2D先驗知識，同時引入3D渲染損失來保證生成內容在任何視角下的3D一致性。
• 支持多種條件輸入：DiffSplat允許用戶使用文本條件、圖像條件或兩者組合的輸入，用戶可以根據需求選擇最適合的條件。
• 可控生成能力：DiffSplat可以結合ControlNet等技術，實現基于文本提示和多種格式（如法線圖、深度圖、Canny邊緣圖）的可控3D生成。

DiffSplat的技術原理

• 基于大規模預訓練的文本到圖像擴散模型：DiffSplat通過微調這些模型，直接生成3D高斯點陣（Gaussian Splats），有效利用網絡規模的2D先驗知識。
• 輕量級重建模型：為啟動訓練，DiffSplat提出了一種輕量級重建模型，可以快速生成多視圖高斯點陣網格，以構建可擴展的數據集。
• 3D渲染損失：DiffSplat引入了3D渲染損失，確保生成的3D內容在任何視角下均保持一致性。

DiffSplat的項目地址

• 項目官網：https://chenguolin.github.io/projects/DiffSplat/
• GitHub倉庫：https://github.com/chenguolin/DiffSplat
• arXiv技術論文：https://arxiv.org/pdf/2501.16764

DiffSplat的應用場景

• 3D內容創作：DiffSplat非常適合快速原型設計和內容創作，設計師可以利用DiffSplat迅速生成3D模型的初步版本，以便進行概念驗證或后續的詳細調整。
• 文本到3D生成：在文本條件下，DiffSplat在3D生成任務中表現出色，能夠根據詳細的文本描述創建相應的3D模型。
• 圖像到3D重建：DiffSplat支持從單張圖像生成3D模型，準確反映輸入圖像的形狀和紋理，適用于影視特效、游戲開發等領域，能夠從現有的圖像資源中快速生成3D模型。
• 下游應用支持：DiffSplat生成的結果可以直接應用于多種下游應用，如3D打印、虛擬現實（VR）和增強現實（AR）等領域。