GaussianCity – 南洋理工大學(xué) S-Lab 團(tuán)隊(duì)推出的 3D 城市生成框架

GaussianCity是什么

GaussianCity 是由南洋理工大學(xué) S-Lab 團(tuán)隊(duì)開發(fā)的一款高效、無(wú)邊界的3D城市生成框架，基于先進(jìn)的3D高斯繪制（3D-GS）技術(shù)。該框架采用了緊湊的 BEV-Point 表示方法，確保在生成大規(guī)模場(chǎng)景時(shí)顯存（VRAM）使用量保持在穩(wěn)定水平，從而有效解決了傳統(tǒng)方法在顯存和存儲(chǔ)需求上的瓶頸。GaussianCity 還引入了空間感知的 BEV-Point Decoder，利用點(diǎn)序列化器和點(diǎn)變換器來(lái)捕捉BEV點(diǎn)的結(jié)構(gòu)與上下文特征，最終生成高質(zhì)量的3D高斯屬性。在無(wú)人機(jī)和街景視角的3D城市生成任務(wù)中，GaussianCity展現(xiàn)出了卓越的性能，相比于現(xiàn)有技術(shù)（如CityDreamer），其速度提升高達(dá)60倍，在生成效果和效率上都達(dá)到了新的高度。

GaussianCity的主要功能

• 高效生成大規(guī)模3D城市：能夠快速創(chuàng)建逼真且無(wú)邊界的城市環(huán)境，支持從無(wú)人機(jī)視角到街景視角的各類場(chǎng)景。
• 低顯存和存儲(chǔ)需求：通過(guò)緊湊的 BEV-Point 表示方法，確保顯存和存儲(chǔ)需求保持在較低水平，克服了傳統(tǒng)方法在大規(guī)模場(chǎng)景生成中的顯存瓶頸問(wèn)題。
• 高質(zhì)量視覺(jué)效果：利用空間感知的 BEV-Point Decoder，生成高細(xì)節(jié)和真實(shí)感的3D城市，支持風(fēng)格化編輯和局部修改。
• 實(shí)時(shí)渲染與交互：支持實(shí)時(shí)渲染及用戶交互，能夠迅速生成高質(zhì)量的3D城市圖像，適合游戲、動(dòng)畫、虛擬現(xiàn)實(shí)等多種應(yīng)用。

GaussianCity的技術(shù)原理

• 3D高斯繪制（3D-GS）：通過(guò)3D高斯分布來(lái)表示場(chǎng)景中的物體和結(jié)構(gòu)，利用GPU加速渲染，實(shí)現(xiàn)高效的3D場(chǎng)景生成。
• BEV-Point 表示：將3D場(chǎng)景中的點(diǎn)信息分解為位置和風(fēng)格屬性，結(jié)合鳥瞰圖（BEV）和風(fēng)格查找表進(jìn)行壓縮，確保顯存使用量不會(huì)隨著場(chǎng)景規(guī)模的增長(zhǎng)而增加。
• 空間感知的BEV-Point解碼器：通過(guò)點(diǎn)序列化器和點(diǎn)變換器，捕捉BEV點(diǎn)的結(jié)構(gòu)及上下文信息，生成3D高斯屬性，實(shí)現(xiàn)高質(zhì)量的3D場(chǎng)景渲染。
• 高效的渲染流程：結(jié)合位置編碼器和調(diào)制MLP，生成3D高斯屬性，通過(guò)高斯光柵化器將屬性渲染為最終圖像。

GaussianCity的項(xiàng)目地址

• GitHub倉(cāng)庫(kù)：https://github.com/hzxie/GaussianCity
• HuggingFace模型庫(kù)：https://huggingface.co/spaces/hzxie/gaussian-city
• arXiv技術(shù)論文：https://arxiv.org/pdf/2406.06526

GaussianCity的應(yīng)用場(chǎng)景

• 游戲與虛擬現(xiàn)實(shí)（VR）：迅速生成生動(dòng)的虛擬城市，支持實(shí)時(shí)渲染與交互，從而降低開發(fā)成本和時(shí)間。
• 動(dòng)畫與影視制作：高效構(gòu)建復(fù)雜城市場(chǎng)景，支持風(fēng)格化渲染，顯著提升制作效率。
• 城市規(guī)劃與建筑設(shè)計(jì)：快速生成城市布局和建筑背景，輔助可視化規(guī)劃與設(shè)計(jì)。
• 自動(dòng)駕駛與交通模擬：創(chuàng)建逼真的交通場(chǎng)景，用于算法測(cè)試和交通流量分析。
• 地理信息系統(tǒng)（GIS）：將地理數(shù)據(jù)快速轉(zhuǎn)化為3D可視化場(chǎng)景，支持城市建模與分析。

常見問(wèn)題

• GaussianCity適合哪些行業(yè)使用？ GaussianCity廣泛適用于游戲開發(fā)、虛擬現(xiàn)實(shí)、影視制作、城市規(guī)劃等多個(gè)行業(yè)。
• 如何訪問(wèn)GaussianCity的源代碼？ 您可以通過(guò)訪問(wèn)其GitHub倉(cāng)庫(kù)獲取GaussianCity的源代碼和相關(guān)文檔。
• GaussianCity的性能如何？ GaussianCity在大規(guī)模場(chǎng)景生成上表現(xiàn)出色，速度相較于現(xiàn)有技術(shù)提升了60倍。
• 能否實(shí)時(shí)生成3D城市？ 是的，GaussianCity支持實(shí)時(shí)渲染，能夠快速生成高質(zhì)量的3D城市圖像。