3DTown – 哥倫比亞聯合Cybever AI等推出單視圖生成3D城鎮場景的框架

3DTown是什么

3DTown 是由哥倫比亞大學與Cybever AI等多方合作開發的框架，旨在通過單一俯視圖生成三維城鎮場景。該框架運用區域化生成與空間感知的3D修復技術，將輸入的圖像劃分為重疊區域，并借助預訓練的3D對象生成器，對每個區域進行的3D內容創建。通過掩碼修正流技術，該框架能夠填補幾何結構的缺失，同時確保結構的連續性。3DTown 能夠生成高質量的幾何和紋理一致的連貫3D場景，在多樣化風格的場景生成方面表現優于現有的先進技術。

3DTown的主要功能

• 多樣化的3D場景生成：支持多種風格和布局的場景創建，如“雪鎮”與“沙漠小鎮”等。
• 幾何與紋理一致性：生成的3D場景在幾何結構和紋理上與輸入圖像保持高度一致。
• 高效處理復雜場景：能夠有效處理復雜的場景，避免幾何失真和布局混淆。

3DTown的項目地址

• 項目官網：https://eric-ai-lab.github.io/3dtown.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2505.15765

3DTown的應用場景

• 虛擬世界構建：快速生成虛擬城鎮或場景，為虛擬現實（VR）和增強現實（AR）應用提供真實的環境支持。
• 游戲開發：為游戲設計師提供高效的工具，從簡單的俯視圖生成復雜的3D游戲場景，從而節省時間和成本。
• 機器人模擬：創建逼真的3D場景以用于機器人訓練，提升機器人在復雜環境中的導航和互動能力。
• 數字內容創作：幫助藝術家和設計師快速生成3D場景原型，加速創意流程，提高工作效率。
• 建筑與城市規劃：從概念草圖生成3D建筑模型和城市布局，輔助規劃與設計工作，并便于方案的展示與評估。

常見問題

• 3DTown適合哪些用戶?：3DTown 適用于虛擬現實開發者、游戲設計師、機器人研究者、數字藝術家以及建筑和城市規劃專業人士。
• 使用3DTown需要哪些技術背景?：用戶不需要深入的技術背景，但對3D建模和相關軟件的基礎理解將有助于更好地使用該工具。
• 3DTown支持哪些類型的輸入圖像?：3DTown 可以處理多種類型的俯視圖圖像，用戶只需提供清晰的單張圖像即可。