探索具身導(dǎo)航的未來：三維場景理解的突破與應(yīng)用

新加坡國立大學(xué)計算機(jī)學(xué)院博士生王子涵主講~

原標(biāo)題：CVPR具身智能視覺語言導(dǎo)航RxR競賽冠軍方案一作開講！主講具身導(dǎo)航中的三維場景理解 | 講座預(yù)告
文章來源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：4041字

具身導(dǎo)航中的三維場景理解

具身智能體的視覺導(dǎo)航能力是實現(xiàn)智能體在復(fù)雜環(huán)境中自主行動的重要基礎(chǔ)。近年來，基于開放域語言指令的視覺語言導(dǎo)航任務(wù)逐漸成為研究的熱點，因其在實際應(yīng)用中的挑戰(zhàn)性和價值巨大。本文將重點介紹相關(guān)研究成果，尤其是在三維環(huán)境表征和理解方面的進(jìn)展。

1. 具身導(dǎo)航的核心難點與基礎(chǔ)方法介紹

具身導(dǎo)航面臨諸多挑戰(zhàn)，包括理解單個物體、物體間關(guān)系以及空間布局。這要求智能體能夠?qū)崟r更新環(huán)境表征，并與語言指令進(jìn)行有效對齊。傳統(tǒng)方法如低噪聲點云的3D Visual Grounding在復(fù)雜環(huán)境中效果有限，因此需要創(chuàng)新的解決方案。

2. 動態(tài)構(gòu)建地圖表征方法GridMM

中科院計算所與新加坡國立大學(xué)的研究團(tuán)隊提出了GridMM，這是一種動態(tài)構(gòu)建與語言指令細(xì)粒度對齊的網(wǎng)格記憶地圖。GridMM通過將智能體觀察到的視覺特征映射到俯視角網(wǎng)格地圖，并在每個網(wǎng)格區(qū)域內(nèi)與導(dǎo)航指令進(jìn)行語義關(guān)聯(lián)，從而實現(xiàn)環(huán)境表征的實時更新。該方法在ICCV 2023上獲得認(rèn)可，并成為CVPR 2023 Embodied AI視覺語言導(dǎo)航RxR競賽的冠軍方案。

3. 基于特征場的導(dǎo)航前瞻探索策略HNR

另一項重要進(jìn)展是HNR（Lookahead Exploration with Neural Radiance Representation），這是第一個可用于視覺語言導(dǎo)航的可泛化特征場。HNR通過將歷史觀察的視覺特征映射到三維空間，并利用體積渲染解碼與CLIP語義空間對齊的新視角表征，顯著提高了智能體的導(dǎo)航規(guī)劃能力。相關(guān)成果在CVPR 2024 Highlight中得到展示。

4. 視覺語言導(dǎo)航的Sim-to-Real部署

面對現(xiàn)實環(huán)境中機(jī)器人僅配備單目相機(jī)的挑戰(zhàn)，VLN-3DFF提出了一種新的Sim-to-Real方案，該方案通過3D特征場構(gòu)建高性能的單目視覺語言導(dǎo)航模型。該模型能夠通過語義地圖預(yù)測全景范圍的可導(dǎo)航候選點，成功率提升超過6%。相關(guān)論文將在CoRL 2024中發(fā)表。

5. 利用3D語言數(shù)據(jù)訓(xùn)練層次化特征場提升機(jī)器人導(dǎo)航能力

3D-LF是一個重要的研究成果，它通過大規(guī)模3D-Language數(shù)據(jù)訓(xùn)練層次化特征場，實現(xiàn)了對物體、關(guān)系和環(huán)境布局的多層級語義表征。這項研究不僅提升了視覺語言導(dǎo)航的性能，也驗證了3D語言特征場在具身任務(wù)中的應(yīng)用價值。

綜上所述，具身導(dǎo)航領(lǐng)域的研究進(jìn)展為智能體的自主導(dǎo)航能力提供了新的方法和思路，尤其是在三維環(huán)境的理解和表征方面。未來的研究將繼續(xù)探索如何將這些技術(shù)有效應(yīng)用于真實世界的場景中，以推動具身智能的實際應(yīng)用。

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下矩陣賬號之一，聚焦大模型開啟的通用人工智能浪潮。