首個檢索增強3D生成模型！實現各種模態生成大一統：文&圖&3D都可以

AIGC動態歡迎閱讀

原標題：首個檢索增強3D生成模型！實現各種模態生成大一統：文&圖&3D都可以
關鍵字：模型,視圖,研究人員,網絡,基礎
文章來源：量子位
內容字數：0字

內容摘要：

王振偉 投稿自 凹非寺量子位 | 公眾號 QbitAI3D生成也能支持檢索增強（RAG）了。
有了檢索到的參考模型之后，3D生成效果更好，還具有極強的泛化性和可控性。
比如像這張，它生成幾何質量得到了極大的改善。
還可以實現主題一致的3D到3D生成，僅需自參考輸入的3D模型即可支持該功能。之前的相關研究需要約1小時，現在壓縮不到10秒。
來自香港城市大學、上海人工智能實驗室、香港中文大學和南洋理工大學S-Lab的研究人員提出了一種名為Phidias的新3D生成框架。
該框架將語言和圖像生成領域中常見的檢索增強生成（RAG）引入3D生成。
Phidias是一種參考增強的擴散生成模型。
該模型統一了文生3D、圖生3D和3D到3D生成等任務，其利用檢索到的或用戶提供的3D參考模型來指導3D生成過程，從而提高了生成質量、泛化能力和可控性。
Phidias包含三個關鍵組件：
1）用于動態調節控制強度的元控制網絡（meta-ControlNet）；
2）用于減輕輸入圖像和3D參考模型沖突的動態參考路由模塊（dynamic reference routing）;
3）用于支持高效自監督學習的自我參考

原文鏈接：首個檢索增強3D生成模型！實現各種模態生成大一統：文&圖&3D都可以

聯系作者

文章來源：量子位
作者微信：
作者簡介：