PrimitiveAnything – 騰訊聯(lián)合清華大學(xué)推出的新型3D形狀生成框架

PrimitiveAnything是什么

PrimitiveAnything是由騰訊人工智能平臺(tái)部（AIPD）與清華大學(xué)共同研發(fā)的一款創(chuàng)新性3D形狀生成框架。該框架將復(fù)雜的3D形狀分解為簡單的基元元素，通過自回歸方式生成這些基元，最終再將它們組合成完整的3D形狀。其核心優(yōu)勢體現(xiàn)在高質(zhì)量的生成效果、強(qiáng)大的泛化能力以及高效的處理速度。

主要功能

• 高質(zhì)量的3D原語組裝生成：能夠生成幾何上高度忠實(shí)于原始模型的3D原語組裝，同時(shí)符合人類對(duì)形狀的直觀理解。
• 多樣化的3D內(nèi)容創(chuàng)作：支持基于文本或圖像的條件生成3D內(nèi)容，為用戶提供靈活的創(chuàng)作方式。
• 高效的存儲(chǔ)與編輯：由于采用原語表示，生成的3D模型在存儲(chǔ)效率上更優(yōu)，同時(shí)也便于后續(xù)編輯和調(diào)整。
• 自回歸變換器架構(gòu)：借助自回歸變換器逐幀生成3D原語，能夠處理不同長度的原語序列，并輕松擴(kuò)展至新的原語類型。
• 無歧義的參數(shù)化方案：通過消除參數(shù)化中的歧義，確保模型在訓(xùn)練和生成過程中保持穩(wěn)定和準(zhǔn)確。
• 幾何保真度與語義一致性：在生成過程中，PrimitiveAnything確保高幾何保真度，并能產(chǎn)生符合人類認(rèn)知的語義分解結(jié)果。
• 模塊化設(shè)計(jì)：框架的模塊化設(shè)計(jì)支持無縫集成新的原語類型，無需調(diào)整整體架構(gòu)，能夠適應(yīng)不同的原語表示方式。

技術(shù)原理

• 無歧義的參數(shù)化方案
  • 統(tǒng)一表示：使用多種基元類型（如立方體、橢圓柱體和橢球體）在統(tǒng)一的參數(shù)化框架下表示3D形狀，每種基元的類型、位置、旋轉(zhuǎn)和縮放等屬性都被編碼，并輸入到模型中。
  • 消除歧義：為解決參數(shù)化中的歧義，研究團(tuán)隊(duì)制定了一整套規(guī)則，通過分析基元的對(duì)稱性，選取旋轉(zhuǎn)參數(shù)L1范數(shù)最小的一組作為唯一表示，從而確保訓(xùn)練過程的穩(wěn)定性和準(zhǔn)確性。
• 自回歸變換器架構(gòu)
  • 形狀條件化：框架采用基于解碼器的Transformer架構(gòu)，能夠根據(jù)形狀特征生成可變長度的基元序列。首先通過點(diǎn)云編碼器提取3D形狀的特征表示，然后自回歸Transformer模型接收這些特征和之前生成的基元信息，預(yù)測下一個(gè)基元的特征。
  • 級(jí)聯(lián)解碼器：為了捕捉基元屬性之間的依賴關(guān)系，框架使用級(jí)聯(lián)解碼器依次預(yù)測基元的類型、位置、旋轉(zhuǎn)和縮放等屬性，反映基元屬性之間的自然關(guān)聯(lián)，符合人類的組裝邏輯。
• 自回歸生成流程
  • 序列生成：將整個(gè)基元生成過程視為一個(gè)序列生成任務(wù)，模型以點(diǎn)云作為輸入條件，自回歸地生成基元序列，直至預(yù)測出結(jié)束標(biāo)記。
  • 訓(xùn)練目標(biāo)：在訓(xùn)練過程中，結(jié)合交叉熵?fù)p失、Chamfer距離（用于重構(gòu)準(zhǔn)確性）和Gumbel-Softmax（用于可微采樣），直到生成序列的結(jié)束標(biāo)記，從而靈活且類人地分解復(fù)雜的3D形狀。

項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://primitiveanything.github.io/
• Github倉庫：https://github.com/PrimitiveAnything/PrimitiveAnything
• HuggingFace模型庫：https://huggingface.co/hyz317/PrimitiveAnything
• arXiv技術(shù)論文：https://arxiv.org/pdf/2505.04622

應(yīng)用場景

• 3D建模與設(shè)計(jì)：PrimitiveAnything能夠迅速生成復(fù)雜3D模型的“幾何骨架”，設(shè)計(jì)師可在此基礎(chǔ)上專注細(xì)節(jié)，顯著提升工作效率與設(shè)計(jì)速度。
• 游戲資產(chǎn)生成：游戲設(shè)計(jì)師可以利用PrimitiveAnything快速生成多樣的游戲場景和角色模型，提高開發(fā)效率。玩家也能通過簡單的幾何積木拼接創(chuàng)造新角色或道具，AI將自動(dòng)進(jìn)行優(yōu)化調(diào)整，并無縫集成到物理引擎中。
• 用戶生成內(nèi)容（UGC）：該框架支持根據(jù)文本或圖像生成3D內(nèi)容，用戶可以輕松編輯生成的結(jié)果，為游戲中的UGC提供新的可能性。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)環(huán)境中，PrimitiveAnything可以快速生成逼真的3D對(duì)象，增強(qiáng)用戶體驗(yàn)。

常見問題

如需了解更多關(guān)于PrimitiveAnything的信息，請(qǐng)?jiān)L問項(xiàng)目官網(wǎng)或相關(guān)鏈接，獲取詳細(xì)資料和使用指南。