Occ預測最新SOTA
原標題:清華開源GaussianWorld:基于高斯世界模型的3D占用預測模型 | 一作左思成博士主講預告
文章來源:智猩猩GenAI
內容字數:2042字
清華大學提出基于高斯世界模型的流式3D占用預測模型GaussianWorld
本文總結了清華大學自動化系智能視覺實驗室(IVG)博士生左思成及其團隊提出的基于高斯世界模型的流式三維語義占用預測模型GaussianWorld,該模型已開源并投稿至CVPR 2025。文章重點介紹了GaussianWorld的創新點、實驗結果以及相關講座信息。
1. 現有方法的不足與GaussianWorld的創新
傳統的3D占用預測方法通常采用感知-轉換-融合的流程,分別處理每一幀的輸入信息,再進行對齊和融合。這種方法忽略了駕駛場景的連續性和簡單性。GaussianWorld則另辟蹊徑,采用顯式3D高斯分布作為場景表示,直接對物體進行顯式和連續建模。這種方法能夠更有效地利用時間信息,提高預測精度。
2. GaussianWorld的核心思想
GaussianWorld的核心思想是利用高斯世界模型來預測場景的演變。給定歷史的3D高斯分布和當前的視覺輸入,GaussianWorld能夠預測場景如何演變以及當前的占用情況。這種基于顯式3D高斯表示的方法,避免了隱式BEV/Voxel表示的局限性,實現了更精確的物體建模。
3. 實驗結果與性能
在nuScenes數據集上的實驗結果表明,GaussianWorld在不增加額外計算量的情況下,將單幀占用率預測提高了2%以上(mIoU),取得了SOTA的性能。這充分證明了GaussianWorld模型的有效性和優越性。
4. 智猩猩新青年講座介紹
1月13日晚上7點,智猩猩邀請論文一作左思成博士進行主題為《基于高斯世界模型的流式3D占用預測》的講座,內容涵蓋自動駕駛中的時序建模方法、基于世界模型的感知任務范式、基于高斯世界模型的流式OCC預測以及在世界模型與端到端自動駕駛上的思考。感興趣的讀者可以通過添加小助手“陳新”報名參加。
5. 論文及代碼信息
論文標題:《GaussianWorld: Gaussian World Model for Streaming 3D Occupancy Prediction》
論文鏈接:https://arxiv.org/abs/2412.10373
代碼鏈接:https://github.com/zuosc19/GaussianWorld
6. 總結
GaussianWorld模型為3D占用預測提供了一種新的思路,其基于顯式3D高斯分布的建模方法能夠有效利用時間信息,提高預測精度。實驗結果也驗證了該模型的優越性能。該模型的開源也方便了更多研究者進行后續的研究和應用。感興趣的讀者可以關注相關的論文和代碼,并參加智猩猩舉辦的線上講座,了解更多細節。
聯系作者
文章來源:智猩猩GenAI
作者微信:
作者簡介:智猩猩旗下公眾號之一,深入關注大模型與AI智能體,及時搜羅生成式AI技術產品。