ConsistentDreamer – 華為推出的單張圖像生成 3D 資產(chǎn)技術

ConsistentDreamer 是華為慕尼黑研究中心開發(fā)的一項創(chuàng)新技術，旨在將單張圖像轉換為視圖一致的 3D 資產(chǎn)。通過多視圖先驗圖像的引導和高斯優(yōu)化方法，該技術有效解決了傳統(tǒng)多視圖生成技術在一致性方面的不足。ConsistentDreamer 通過生成固定視角的多視圖圖像，結合分數(shù)蒸餾采樣（SDS）損失和擴散模型，優(yōu)化 3D 模型的粗略形狀，并通過動態(tài)任務權重的調整，實現(xiàn)對細節(jié)的精細化處理。

ConsistentDreamer是什么

ConsistentDreamer 是一項前沿的圖像到 3D 資產(chǎn)生成技術，由華為慕尼黑研究中心推出。該技術能夠從單一圖像生成視圖一致的 3D 網(wǎng)格，克服了傳統(tǒng)方法在多視圖一致性方面的挑戰(zhàn)。通過多視圖先驗圖像的引導以及高斯優(yōu)化的手段，ConsistentDreamer 生成一系列固定視角的多視圖圖像，并利用分數(shù)蒸餾采樣（SDS）損失和擴散模型來優(yōu)化 3D 模型的基礎形狀。該技術通過動態(tài)調整任務權重，平衡基礎形狀與細節(jié)的優(yōu)化過程，同時引入不透明度、深度失真和法線對齊損失，進一步細化生成的表面。

ConsistentDreamer的主要功能

• 增強3D一致性：通過引入結構化噪聲和自監(jiān)督一致性訓練，ConsistentDreamer 在不同視圖中保持高度一致的編輯結果，有效解決了傳統(tǒng)2D擴散模型在多視圖生成中的不一致性問題。
• 高分辨率紋理生成：該框架能夠生成具有精細紋理和高清晰度的編輯結果，尤其在復雜場景（如 ScanNet++ 大規(guī)模室內場景）中表現(xiàn)優(yōu)異。
• 復雜圖案編輯能力：ConsistentDreamer 是首個成功編輯復雜圖案（如方格或格子圖案）的方法。
• 多視圖上下文輸入：通過將周圍視圖作為輸入，ConsistentDreamer 為2D擴散模型提供了豐富的上下文信息，增強了模型的3D感知能力。
• 并行化編輯流程：ConsistentDreamer 采用多 GPU 并行處理技術，通過分離 NeRF 擬合與擴散模型生成，實現(xiàn)高效的場景編輯。
• 指令引導的場景編輯：該框架支持根據(jù)自然語言指令對3D場景進行編輯，生成與指令高度一致的高質量結果。

ConsistentDreamer的技術原理

• 多視圖先驗圖像引導：ConsistentDreamer 從單張輸入圖像生成一組固定視角的多視圖先驗圖像，作為優(yōu)化過程中的參考，提供豐富的上下文信息以支持3D模型生成。
• 分數(shù)蒸餾采樣（SDS）：通過SDS損失優(yōu)化3D模型的粗略形狀，具體而言，基于預訓練的擴散模型（如 Zero-1-to-3）生成隨機視圖，確保視圖之間的一致性。
• 動態(tài)任務權重平衡：引入基于同方差不確定性的動態(tài)任務權重，以平衡粗略形狀和細節(jié)優(yōu)化，確保每次迭代的穩(wěn)定性和效率。
• 不透明度、深度失真和法線對齊損失：ConsistentDreamer 引入這些損失函數(shù)，以提高網(wǎng)格提取質量，確保生成的 3D 網(wǎng)格具有清晰的表面和高質量的紋理。
• 多視圖上下文輸入與一致性訓練：ConsistentDreamer 將周圍視圖作為輸入，為擴散模型提供豐富的3D上下文信息，通過自監(jiān)督一致性訓練增強3D感知能力。

ConsistentDreamer的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2502.09278

ConsistentDreamer的應用場景

• 復雜場景的高保真編輯：適用于復雜的大規(guī)模室內場景（如 ScanNet++ 數(shù)據(jù)集），生成具有細膩紋理和高清晰度的編輯結果。
• 多樣化風格轉換：能夠支持多種風格轉換任務，如將場景轉換為特定藝術風格（例如梵高或蒙克風格），并保留原始場景的細節(jié)與紋理。
• 物體特定編輯：能夠對特定物體進行編輯，例如改變人物表情或物體顏色。
• 跨視圖和跨批次一致性：通過結構化噪聲和自監(jiān)督一致性訓練，ConsistentDreamer 在不同視圖和不同批次的生成過程中保持一致性。