DynamicCity

DynamicCity – 上海 AI Lab 推出的4D動態(tài)場景生成框架

DynamicCity 是由上海AI Lab開發(fā)的一款先進(jìn)的4D動態(tài)場景生成框架，專注于構(gòu)建具有豐富語義信息的動態(tài)LiDAR場景。該框架能夠處理廣闊的空間范圍（80×80×6.4 m3）及長達(dá)128幀的序列數(shù)據(jù)。DynamicCity利用變分自編碼器（VAE）模型將4D場景壓縮為精簡的HexPlane表示，再通過基于擴(kuò)散模型的生成器（DiT）重建這些動態(tài)場景。該技術(shù)突顯了在高質(zhì)量動態(tài)場景生成方面的卓越能力，并為自動駕駛及機(jī)器人技術(shù)提供了強(qiáng)有力的支持。

DynamicCity是什么

DynamicCity 是一款由上海AI Lab推出的4D動態(tài)場景生成框架，專注于創(chuàng)建具有語義信息的動態(tài)LiDAR場景。它能夠處理大規(guī)?？臻g（80×80×6.4 m3）和長序列（最多128幀）的數(shù)據(jù)。該框架通過VAE模型將4D場景編碼為緊湊的HexPlane表示，并利用基于擴(kuò)散模型（DiT）的生成器重建動態(tài)場景。DynamicCity廣泛應(yīng)用于軌跡引導(dǎo)、指令驅(qū)動生成和動態(tài)場景修復(fù)等領(lǐng)域，其在CarlaSC和Occ3D-Waymo數(shù)據(jù)集上表現(xiàn)優(yōu)異，明顯優(yōu)于現(xiàn)有技術(shù)。

DynamicCity

DynamicCity的主要功能

高質(zhì)量4D場景生成：能夠生成大規(guī)模且高質(zhì)量的動態(tài)LiDAR場景，真實再現(xiàn)環(huán)境中的動態(tài)變化，支持長達(dá)128幀的復(fù)雜序列生成。
多樣化應(yīng)用場景：
- 軌跡引導(dǎo)生成：通過輸入特定軌跡，控制場景中對象的移動。
- 指令驅(qū)動生成：根據(jù)指令（如“左轉(zhuǎn)”、“右轉(zhuǎn)”、“前進(jìn)”）來控制自車或場景的。
- 動態(tài)場景修復(fù)：修復(fù)缺失或損壞的場景，生成完整的動態(tài)環(huán)境。
- 布局條件生成：根據(jù)鳥瞰圖布局來控制車輛及其他對象的配置。

DynamicCity的技術(shù)原理

變分自編碼器（VAE）模型：
- 編碼階段：將4D LiDAR場景壓縮為緊湊的HexPlane表示，通過3D卷積神經(jīng)網(wǎng)絡(luò)提取特征，利用Projection Module將4D特征壓縮為六個2D特征圖，從而提升HexPlane的擬合質(zhì)量（最高提升12.56%的mIoU）。
- 解碼階段：采用Expansion & Squeeze Strategy (ESS)并行解碼HexPlane，以重建3D特征體積。此方法相比逐點查詢，提升了擬合質(zhì)量（最高提升7.05%的mIoU），加速了訓(xùn)練過程（最高提升2.06倍），并顯著減少內(nèi)存使用（最高減少70.84%）。
擴(kuò)散模型（DiT）：
- HexPlane生成：在編碼后的HexPlane基礎(chǔ)上，DiT模型用于生成新的HexPlane，從而實現(xiàn)4D LiDAR場景的生成。為使HexPlane適用于DiT生成，提出了Padded Rollout Operation (PRO)，將六個特征平面重組為一個方形的2D特征圖，高效建模特征序列中的空間和時間關(guān)系。
- 條件生成：DiT支持條件注入（如軌跡、指令、布局等），實現(xiàn)多樣化的4D場景生成應(yīng)用。通過Classifier-Free Guidance (CFG)，模型在訓(xùn)練過程中同時學(xué)習(xí)條件生成與無條件生成，從而在生成過程中實現(xiàn)更精細(xì)的控制。

DynamicCity的項目地址

項目官網(wǎng)：https://dynamic-city.github.io/
GitHub倉庫：https://github.com/3DTopia/DynamicCity
arXiv技術(shù)論文：https://arxiv.org/pdf/2410.18084

DynamicCity的應(yīng)用場景

自動駕駛仿真：生成復(fù)雜的動態(tài)場景，以支持自動駕駛算法的開發(fā)和測試，提升系統(tǒng)的安全性。
虛擬現(xiàn)實：創(chuàng)建逼真的虛擬環(huán)境，支持虛擬現(xiàn)實和增強(qiáng)現(xiàn)實應(yīng)用，例如虛擬駕駛和城市規(guī)劃展示。
機(jī)器人導(dǎo)航：模擬三維動態(tài)環(huán)境，幫助機(jī)器人進(jìn)行路徑規(guī)劃和障礙物檢測，提高適應(yīng)性。
交通流量分析：對交通流量進(jìn)行建模和分析，預(yù)測擁堵情況，優(yōu)化交通信號和道路布局。
智能城市規(guī)劃：生成城市級動態(tài)場景，輔助評估城市布局和公共設(shè)施的規(guī)劃。

常見問題

DynamicCity支持哪些數(shù)據(jù)格式？：DynamicCity支持多種LiDAR數(shù)據(jù)格式，以適應(yīng)不同的應(yīng)用需求。
如何獲取DynamicCity的技術(shù)支持？：可以通過官方網(wǎng)站或GitHub倉庫提交問題，團(tuán)隊會盡快回應(yīng)。
DynamicCity的系統(tǒng)要求是什么？：具體的系統(tǒng)要求可以在項目官網(wǎng)找到，包括所需的硬件和軟件環(huán)境。

閱讀原文