Flex3D是一款由Meta的GenAI團隊與牛津大學研究團隊聯合開發的創新性兩階段3D生成框架。該系統能夠基于任意數量的高質量輸入視圖，解決從文本、單張圖像或稀疏視圖生成高質量3D內容的挑戰。Flex3D通過微調的多視圖和視頻擴散模型生成多樣化的候選視圖，并采用視圖選擇機制確保后續重建中使用的視圖具有高質量和一致性。

Flex3D是什么

Flex3D是一款由Meta的GenAI團隊與牛津大學研究團隊共同推出的前沿兩階段3D生成框架，可以利用任意數量的高質量輸入視圖，解決基于文本描述、單張圖片或稀疏視圖生成高質量3D內容的難題。在第一階段中，系統使用微調的多視圖和視頻擴散模型生成豐富的候選視圖，并通過視圖選擇機制確保重建過程中使用的視圖高質量且一致。第二階段則使用靈活重建模型（FlexRM），該模型基于transformer架構，能夠處理任意數量的輸入視圖，直接輸出高效且詳細的3D高斯點。Flex3D在3D重建和生成任務中展現出卓越的性能，用戶研究勝率超過92%。

Flex3D的主要功能

• 高質量3D內容生成：能夠從文本描述、單張圖片或稀疏視圖生成高質量的3D模型。
• 靈活視圖生成：利用微調的多視圖和視頻擴散模型，生成多樣的候選視圖，捕捉目標3D對象的多個角度。
• 視圖篩選機制：自動篩選出高質量和一致性的視圖，用于后續的3D重建。
• 靈活重建模型（FlexRM）：基于transformer架構，處理不同數量的輸入視圖，直接輸出3D高斯點。
• 高效3D表示：結合三平面表示法和3D高斯繪制技術，快速且詳細地生成3D模型。
• 魯棒性：通過模擬不完美的輸入視圖進行訓練，增強模型對輸入噪聲的魯棒性。

Flex3D的技術原理

• 多視圖擴散模型：通過微調的多視圖圖像擴散模型和視頻擴散模型生成候選視圖池。
• 視圖選擇管道：基于質量評估和特征匹配網絡，篩選出高質量的視圖用于3D重建。
• 變換器架構：FlexRM采用變換器架構，處理不同數量和視角的輸入視圖。
• 三平面表示與3D高斯繪制：結合三平面特征與3D高斯繪制技術，通過MLP解碼三平面特征為3D高斯點。
• 兩階段訓練策略：首先對模型進行預訓練，然后用真實世界的密集渲染數據進行第二階段訓練。
• 不完美輸入視圖模擬：在訓練過程中模擬不完美的輸入視圖，向3D高斯點添加噪聲以增強模型的魯棒性。

Flex3D的項目地址

• 項目官網：junlinhan.github.io/projects/flex3d
• arXiv技術論文：https://arxiv.org/pdf/2410.00890

Flex3D的應用場景

• 視頻游戲開發：快速生成游戲資產和環境的3D模型，提升游戲設計和開發的效率。
• 增強現實（AR）和虛擬現實（VR）：為AR和VR應用創建逼真的3D對象和場景，增強用戶的沉浸體驗。
• 電影和動畫制作：在電影和動畫中生成高質量的3D模型，用于角色設計、道具制作和場景構建。
• 機器人技術：生成3D模型以模擬和訓練機器人在復雜環境中的導航和操作能力。
• 電子商務：為在線商店生成產品的3D視圖，提供更豐富的產品展示，幫助消費者做出購買決定。

常見問題

• Flex3D支持哪些輸入類型？：Flex3D支持文本輸入、單張圖片以及稀疏視圖作為輸入。
• Flex3D生成的3D模型質量如何？：通過高質量視圖選擇和靈活重建模型，Flex3D生成的3D模型質量非常高，用戶研究顯示勝率超過92%。
• 我如何訪問Flex3D？：您可以通過訪問項目官網和閱讀相關技術論文來獲取更多信息和資源。