DreamPolish是一款由智譜AI、清華大學和北京大合研發(fā)的文本到3D生成模型，旨在通過創(chuàng)新的兩階段方法提升復雜對象的幾何結(jié)構(gòu)和紋理質(zhì)量。該模型的首個階段采用多種神經(jīng)表示技術(shù)，逐步優(yōu)化幾何形狀，并在后續(xù)的拋光階段中改進表面細節(jié)。第二階段則運用領(lǐng)域得分蒸餾技術(shù)，確保生成的紋理在逼真度和一致性方面達到新的高度，從而顯著提升整體質(zhì)量。DreamPolish在幾何和紋理生成方面超越了現(xiàn)有技術(shù)，為3D資產(chǎn)的創(chuàng)建開辟了全新的可能性。

DreamPolish是什么

DreamPolish是由智譜AI、清華大學和北京大學共同開發(fā)的一種文本到3D生成模型，透過兩階段策略顯著改善復雜對象的幾何細節(jié)和紋理效果。第一階段通過多種神經(jīng)表示逐步優(yōu)化幾何形狀，隨后在拋光階段中提升表面細節(jié)。第二階段則利用領(lǐng)域得分蒸餾技術(shù)，引導紋理生成朝向高逼真度與一致性的目標領(lǐng)域，從而顯著提高紋理質(zhì)量。DreamPolish在幾何和紋理生成上表現(xiàn)出色，為3D資產(chǎn)創(chuàng)建提供了新的機遇。

DreamPolish的主要功能

• 精細幾何生成：創(chuàng)建具有復雜細節(jié)的3D對象幾何結(jié)構(gòu)。
• 高質(zhì)量紋理生成：生成逼真的紋理，顯著提升3D模型的視覺效果。
• 多階段幾何細化：通過漸進式幾何構(gòu)建和表面拋光，優(yōu)化模型的表面細節(jié)。
• 領(lǐng)域得分蒸餾（DSD）：引入新得分蒸餾目標，平衡紋理的真實性和生成的穩(wěn)定性。
• 混合3D生成：結(jié)合2D圖像的擴散模型與3D一致性約束，提高3D內(nèi)容的生成質(zhì)量。

DreamPolish的技術(shù)原理

• 漸進式幾何構(gòu)建：
  • 從初步的3D結(jié)構(gòu)開始，逐步應(yīng)用多種神經(jīng)表示（如NeRF、NeuS、DMTet）來細化幾何形狀。
  • 通過迭代細化，模型在保持計算效率的同時生成復雜的幾何結(jié)構(gòu)。
• 表面拋光：在幾何構(gòu)建的最后階段，使用預訓練的法線估計模型來平滑表面，消除之前階段可能出現(xiàn)的偽影。
• 領(lǐng)域得分蒸餾（DSD）：
  • 基于DSD目標，模型朝向包含逼真和一致渲染的目標領(lǐng)域，提升紋理質(zhì)量。
  • 結(jié)合無分類器指導（CFG）和變分分布指導，平衡生成的多樣性與穩(wěn)定性。
• 混合3D生成：
  • 利用預訓練的2D擴散模型與3D一致性約束，將2D圖像中的高質(zhì)量紋理轉(zhuǎn)移到3D資產(chǎn)生成當中。
  • 依據(jù)得分蒸餾技術(shù)，對齊2D和3D表示的分布，減少差異和偽影。
• 平衡逼真度與穩(wěn)定性：通過DSD技術(shù)解決在生成高逼真紋理時保持訓練穩(wěn)定性的挑戰(zhàn)，避免過高的CFG權(quán)重導致的過飽和和其他偽影。

DreamPolish的項目地址

• 項目官網(wǎng)：deep-diver.github.io/ai-paper-reviewer/paper-reviews/2411.01602
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.01602
• 在線體驗Demo：https://huggingface.co/papers/2411.01602

DreamPolish的應(yīng)用場景

• 虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）：在虛擬和增強現(xiàn)實應(yīng)用中，創(chuàng)建生動的3D環(huán)境和對象，提升用戶體驗。
• 電影和視頻制作：用于生成電影中的特效和3D場景，降低實際拍攝的成本和復雜度。
• 視頻游戲開發(fā)：游戲開發(fā)者可快速生成復雜幾何和真實紋理的游戲資產(chǎn)，提高開發(fā)效率。
• 3D打印：將文本描述直接轉(zhuǎn)換成3D模型，便于個性化定制產(chǎn)品的實現(xiàn)。
• 教育和培訓：創(chuàng)建教育內(nèi)容，如歷史遺跡的3D重建，提供沉浸式學習體驗。

常見問題

• DreamPolish適用于哪些領(lǐng)域？：DreamPolish可廣泛應(yīng)用于虛擬現(xiàn)實、視頻游戲、電影制作、3D打印等多個領(lǐng)域，適合需要高質(zhì)量3D模型的場景。
• 使用DreamPolish需要什么樣的技術(shù)背景？：雖然具有一定的技術(shù)背景有助于更好地使用該工具，但DreamPolish的設(shè)計使普通用戶也能利用其強大的功能。
• 如何獲取DreamPolish？：用戶可以訪問項目官網(wǎng)和在線Demo，獲取最新的信息和體驗版本。