TRELLIS.2 – 微軟開源的40億參數(shù)3D生成模型

微軟近期推出了一款名為TRELLIS.2的突破性3D生成模型，其核心優(yōu)勢在于能夠從單一圖像高效地構(gòu)建出細(xì)節(jié)豐富、逼真的3D資產(chǎn)。這款擁有40億參數(shù)的開源模型，憑借其創(chuàng)新的O-Voxel稀疏體素架構(gòu)，在處理諸如開放表面、非流形幾何等復(fù)雜拓?fù)浣Y(jié)構(gòu)方面展現(xiàn)出卓越的能力，并且能夠完整支持PBR材質(zhì)的建模，為3D內(nèi)容創(chuàng)作領(lǐng)域帶來了新的可能性。

TRELLIS.2的獨特之處

TRELLIS.2不僅僅是一個3D生成模型，它更像是一位高效的3D藝術(shù)家。在強(qiáng)大的NVIDIA H100硬件上，它能在短短3秒內(nèi)生成分辨率高達(dá)5123的3D模型，并且最高可支持15363的超高清渲染。與傳統(tǒng)的3D生成方法相比，TRELLIS.2通過引入16倍的空間下采樣技術(shù)，極大地提升了處理效率，同時還能輸出通用的GLB格式文件，使其能夠無縫集成到游戲開發(fā)、影視制作以及工業(yè)設(shè)計等多個關(guān)鍵行業(yè)的工作流程中。

TRELLIS.2的核心能力

• 圖像到3D的魔術(shù)轉(zhuǎn)換：只需一張2D圖片，TRELLIS.2就能快速變幻出高質(zhì)量的3D模型，為將平面創(chuàng)意轉(zhuǎn)化為立體形態(tài)提供了便捷的途徑。
• 文字指令的3D實現(xiàn)：通過直觀的文本描述，用戶可以精確地指導(dǎo)模型生成所需的3D對象，讓想象力得以具象化。
• 駕馭復(fù)雜形狀的藝術(shù)：無論是開放的曲面、不規(guī)則的幾何體，還是內(nèi)部封閉的結(jié)構(gòu)，TRELLIS.2都能游刃有余地處理，生成形態(tài)各異的3D模型。
• 賦予模型生命的材質(zhì)與紋理：生成的3D模型不僅具備基礎(chǔ)顏色，更能模擬出PBR材質(zhì)的各項屬性，如粗糙度、金屬度、不透明度等，并支持透明效果，實現(xiàn)逼真的視覺呈現(xiàn)。
• 多維度的高清體驗：支持從5123到15363的多種分辨率生成，用戶可以根據(jù)項目需求靈活選擇，獲得不同層次的細(xì)節(jié)表現(xiàn)。
• 即時渲染與便捷導(dǎo)出：生成的3D模型可以直接用于渲染，并支持導(dǎo)出為GLB等主流3D文件格式，方便在各種3D軟件和平臺中進(jìn)行二次創(chuàng)作和應(yīng)用。
• 無限創(chuàng)意的模型編輯與變體生成：用戶可以對生成的3D模型進(jìn)行精細(xì)化編輯，并輕松生成同一對象的多種變體，滿足個性化和多樣化的設(shè)計需求。

TRELLIS.2的技術(shù)精髓

• O-Voxel：化繁為簡的3D表達(dá)：TRELLIS.2獨創(chuàng)的O-Voxel稀疏體素結(jié)構(gòu)，是一種高效且靈活的3D表示方式，它突破了傳統(tǒng)方法的局限，能夠精準(zhǔn)捕捉復(fù)雜拓?fù)浜弯J利邊緣，完美支持開放表面、非流形幾何以及內(nèi)部封閉結(jié)構(gòu)。
• 稀疏3D VAE：高效編碼與生成：通過稀疏3D變分自編碼器（VAE），模型能夠?qū)?fù)雜的3D資產(chǎn)高效地壓縮到緊湊的潛在空間中，實現(xiàn)快速生成。16倍的空間下采樣更是顯著提升了處理速度和資源利用率。
• 全鏈路PBR材質(zhì)模擬：TRELLIS.2在材質(zhì)建模方面力求真實，不僅處理基礎(chǔ)顏色，更能精細(xì)模擬PBR材質(zhì)的各項物理屬性，并支持透明度，為3D模型注入生命力。
• 極簡高效的數(shù)據(jù)處理流程：模型無需復(fù)雜的渲染或優(yōu)化過程，能夠快速完成紋理網(wǎng)格與O-Voxel之間的轉(zhuǎn)換，極大地簡化了工作流程，縮短了生成時間。
• CUDA加速的渲染與后處理：結(jié)合CUDA加速的網(wǎng)格處理工具（如CuMesh）和先進(jìn)的渲染技術(shù)，TRELLIS.2能夠快速生成高質(zhì)量的3D模型，并支持實時渲染和便捷的后處理操作。
• 海量數(shù)據(jù)的深度學(xué)習(xí)：通過在大規(guī)模數(shù)據(jù)集上的預(yù)訓(xùn)練，TRELLIS.2模型深度學(xué)習(xí)了豐富的3D形狀和紋理特征，使其能夠根據(jù)輸入圖像或文本生成千變?nèi)f化的3D資產(chǎn)。

TRELLIS.2的精彩入口

• 官方網(wǎng)站：https://microsoft.github.io/TRELLIS.2/
• GitHub代碼庫：https://github.com/microsoft/TRELLIS.2
• HuggingFace模型集：https://huggingface.co/microsoft/TRELLIS.2-4B
• 深度解析論文：https://arxiv.org/pdf/2512.14692
• 在線互動體驗：https://huggingface.co/spaces/microsoft/TRELLIS.2

TRELLIS.2的廣闊天地

• 游戲開發(fā)的新引擎：TRELLIS.2能夠快速生成高品質(zhì)的游戲角色、道具和場景，顯著提高開發(fā)效率，降作成本。
• 影視制作的視覺利器：該模型能夠創(chuàng)建逼真的3D特效和虛擬場景，其強(qiáng)大的材質(zhì)表現(xiàn)能力完美契合影視行業(yè)對視覺效果的嚴(yán)苛要求。
• VR/AR的沉浸式構(gòu)建者：TRELLIS.2生成的3D環(huán)境和物體，能為虛擬現(xiàn)實和增強(qiáng)現(xiàn)實應(yīng)用帶來更強(qiáng)的沉浸感和用戶體驗。
• 建筑設(shè)計的3D可視化助手：能夠快速生成建筑模型和室內(nèi)設(shè)計的三維可視化效果，幫助設(shè)計師和客戶更直觀地理解和評估設(shè)計方案。
• 工業(yè)設(shè)計與產(chǎn)品迭代加速器：TRELLIS.2可以快速創(chuàng)建產(chǎn)品原型模型，加速設(shè)計迭代，并支持虛擬展示和功能測試。
• 教育與培訓(xùn)的互動課堂：作為一種創(chuàng)新的教學(xué)工具，TRELLIS.2能夠幫助學(xué)習(xí)者更深入地理解和掌握3D建模、渲染和設(shè)計等相關(guān)知識與技能。