Edify 3D 是 NVIDIA 推出的創(chuàng)新性3D資產(chǎn)生成解決方案，可以通過文本提示或參考圖像迅速合成高質(zhì)量的3D模型。該系統(tǒng)能夠在短短兩分鐘內(nèi)生成具有精細(xì)幾何形狀、清晰拓?fù)浣Y(jié)構(gòu)及高分辨率紋理的3D資產(chǎn)，廣泛應(yīng)用于視頻游戲設(shè)計(jì)、擴(kuò)展現(xiàn)實(shí)（XR）、模擬訓(xùn)練等多個(gè)領(lǐng)域。

Edify 3D是什么

Edify 3D 是 NVIDIA 開發(fā)的一種先進(jìn)的3D資產(chǎn)生成工具，可以通過輸入的文本描述或參考圖像快速生成高質(zhì)量的3D模型。該技術(shù)結(jié)合了多視圖擴(kuò)散模型和基于Transformer的重建模型，大幅提升了3D內(nèi)容制作的效率與可擴(kuò)展性。在不超過兩分鐘的時(shí)間內(nèi)，Edify 3D能夠生成細(xì)致的幾何形狀、清晰的拓?fù)浣Y(jié)構(gòu)，以及具有4K分辨率的紋理和基于物理的渲染（PBR）材質(zhì)，滿足各類快速生產(chǎn)的需求。

Edify 3D的主要功能

• 文本轉(zhuǎn)3D生成：通過文本描述生成詳細(xì)的3D資產(chǎn)，具備精細(xì)的幾何形狀和高分辨率紋理。
• 圖像轉(zhuǎn)3D生成：從參考圖像中自動識別并生成相應(yīng)的3D模型。
• 快速生成：在兩分鐘內(nèi)高效生成高質(zhì)量的3D資產(chǎn)，滿足快速開發(fā)需求。
• 高分辨率紋理：支持生成高達(dá)4K分辨率的紋理，確保視覺效果的出色。
• PBR材質(zhì)支持：生成的3D資產(chǎn)具有基于物理的渲染材質(zhì)，在不同光照條件下保持真實(shí)感。
• UV貼圖和材質(zhì)圖：生成的資產(chǎn)附帶有序的UV貼圖和材質(zhì)圖，便于后續(xù)的編輯與渲染。

Edify 3D的技術(shù)原理

• 多視圖擴(kuò)散模型：使用多視圖擴(kuò)散模型合成對象的RGB外觀及表面法線圖像，處理文本提示和相機(jī)姿態(tài)，從多個(gè)視角合成對象外觀。
• 基于Transformer的重建模型：利用合成的多視圖RGB和表面法線圖像，通過Transformer模型預(yù)測3D形狀的幾何、紋理和材質(zhì)。
• 跨視圖注意力機(jī)制：多視圖擴(kuò)散模型擴(kuò)展自注意層，跨不同視點(diǎn)進(jìn)行注意力分配，以提高視點(diǎn)一致性。
• 高分辨率上采樣：通過上采樣ControlNet提升多視圖RGB圖像的分辨率，并對紋理和表面法線進(jìn)行條件化處理。
• PBR渲染：在生成過程中運(yùn)用基于物理的渲染技術(shù)，確保材質(zhì)和光照效果的真實(shí)。
• 網(wǎng)格后處理：生成的3D網(wǎng)格經(jīng)過后處理，包括重新拓?fù)錇樗倪呅尉W(wǎng)格和UV映射生成，滿足藝術(shù)和設(shè)計(jì)需求。

Edify 3D的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：research.nvidia.com/labs/dir/edify-3d
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.07135

Edify 3D的應(yīng)用場景

• 視頻游戲設(shè)計(jì)：游戲開發(fā)者能夠快速生成中世紀(jì)城堡的3D模型，包括城墻、塔樓及其內(nèi)部結(jié)構(gòu)，以及相應(yīng)的紋理和材質(zhì)，為即將推出的策略游戲做好素材準(zhǔn)備。
• 擴(kuò)展現(xiàn)實(shí)（XR）：虛擬現(xiàn)實(shí)體驗(yàn)設(shè)計(jì)師可創(chuàng)建逼真的海底世界，包含各種海洋生物和珊瑚礁，為潛水愛好者提供沉浸式的虛擬潛水體驗(yàn)。
• 電影和視頻制作：電影制作團(tuán)隊(duì)能夠生成未來城市的3D場景，用于科幻電影中的關(guān)鍵追逐戲，展現(xiàn)摩天大樓、飛行汽車和異形植物等元素。
• 模擬和訓(xùn)練：軍事訓(xùn)練模擬器中，生成復(fù)雜的城市環(huán)境和戰(zhàn)場地形，供士兵進(jìn)行戰(zhàn)術(shù)訓(xùn)練和實(shí)戰(zhàn)模擬。
• 建筑和城市規(guī)劃：城市規(guī)劃師依據(jù)最新城市設(shè)計(jì)草案，快速生成3D城市模型，涵蓋新的住宅區(qū)、商業(yè)中心及公園，以便進(jìn)行公眾展示和反饋收集。

常見問題

• Edify 3D的使用難度如何？：Edify 3D的用戶界面友好，適合各類用戶，甚至是非專業(yè)人士也能快速上手。
• 生成的3D資產(chǎn)可以導(dǎo)出到哪些格式？：生成的3D資產(chǎn)支持多種格式導(dǎo)出，便于與其他軟件進(jìn)行兼容。
• 是否需要高性能計(jì)算設(shè)備？：雖然推薦使用高性能計(jì)算設(shè)備來獲得最佳效果，但Edify 3D也可在較為普通的設(shè)備上運(yùn)行。