MagicClay 是 Adobe 最新推出的一款創新3D建模工具，旨在通過結合網格和有向距離場（SDF）技術，為藝術家提供一種全新的建模體驗。用戶可以基于文本提示對3D模型的特定部分進行雕刻，同時保持其他區域的完整性。MagicClay 不僅支持生成具有紋理的三維模型，還允許藝術家進行非破壞性的局部編輯，使得3D建模過程更加直觀和精細。

MagicClay是什么

MagicClay 是一款先進的3D建模工具，由 Adobe 開發，集成了網格和有向距離場（SDF）技術。它允許藝術家根據文本提示來雕刻模型的特定區域，而不影響模型的其他部分。該工具支持創建具有豐富紋理的三維作品，并且能夠進行非破壞性編輯，使得藝術家在進行調整和細化時更加靈活。MagicClay 將文本到圖像的生成能力轉化為可實際應用的建模工具，極大地提升了創作效率。

MagicClay的主要功能

• 文本驅動的3D雕刻：用戶可以通過輸入文本提示，精準指導3D模型特定區域的雕刻，便于局部編輯。
• 混合表示技術：結合三角網格與有向距離場（SDF）的優勢，提供直觀的建模體驗與拓撲靈活性。
• 非破壞性編輯：在編輯選定區域時，模型的其他部分保持不變，確保原始模型的完整性。
• 逐步編輯能力：支持對同一模型進行多次細致編輯，幫助藝術家逐步完善設計。
• 保留原始屬性：編輯過程中保留模型的頂點組等原始屬性，便于后續的動畫處理。
• 高分辨率渲染：高效渲染SDF，實現細膩的體積渲染效果。

MagicClay的技術原理

• 混合網格與SDF表示：采用混合表示方法，同時利用三角網格和SDF，增強了建模的直觀性與靈活性。
• 一致性維護機制：在優化過程中，確保網格與SDF之間保持一致性，利用多視圖一致性損失和自適應重構技術同步兩者。
• 可微分渲染：通過可微分渲染技術，從不同視角渲染網格和SDF，確保RGB渲染、不透明度和法線圖的一致性。
• 局部化與凍結損失：通過局部化損失和凍結損失，確保編輯只在用戶選定的區域內進行，未選定區域保持不變。
• 格重建：利用可微分網格重建技術，如ROAR，實現網格拓撲的動態更新，包括面分割、邊折疊和邊翻轉。
• 表面平滑與正則化：通過網格的顯式表示定義平滑項，利用Laplacian向量編碼局部曲率變化，促進網格的平滑性。
• SDF正則化：采用Eikonal損失等特定損失函數，鼓勵SDF學習有效的距離場表示。

MagicClay的項目地址

• 項目官網：amirbarda.github.io/MagicClay.github.io
• GitHub倉庫：https://github.com/amirbarda/MagicClay
• arXiv技術論文：https://arxiv.org/pdf/2403.02460

MagicClay的應用場景

• 3D藝術創作：藝術家可以利用文本提示快速實現創意構思，進行3D雕塑和模型創作，無需具備復雜的建模技能。
• 游戲開發：游戲設計師可以快速原型設計并迭代游戲角色、道具和環境，從而提高開發效率。
• 動畫制作：在動畫電影和電視制作中，MagicClay 幫助創建和修改復雜的3D角色和場景，同時保留動畫所需的頂點權重和綁定。
• 虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，設計并優化虛擬對象和環境，以提供更豐富和動態的用戶體驗。
• 教育和培訓：在教育領域，MagicClay 可作為教學工具，幫助學生理解3D建模的基本概念，基于實踐進行3D設計學習。