邁向空間感知：從3D視覺到具身智能 | 上海AI Lab與中國科大聯(lián)培博士生朱皓怡主講預(yù)告

上海AI Lab與中國科大聯(lián)培博士生朱皓怡主講預(yù)告

原標(biāo)題：邁向空間感知：從3D視覺到具身智能 | 上海AI Lab與中國科大聯(lián)培博士生朱皓怡主講預(yù)告
文章來源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：3201字

上海AI Lab博士生朱皓怡：邁向空間感知，從3D視覺到具身智能

本文總結(jié)了上海AI Lab與中國科學(xué)技術(shù)大培博士生朱皓怡及其團(tuán)隊在具身智能領(lǐng)域取得的三項(xiàng)重要研究成果，以及其即將在“智猩猩具身智能前沿講座”第18講中分享的內(nèi)容概要。

1. 研究背景：提升具身智能的泛化能力

在復(fù)雜3D環(huán)境中提升智能體的泛化能力和實(shí)現(xiàn)高效學(xué)習(xí)是具身智能領(lǐng)域的一大挑戰(zhàn)。朱皓怡博士及其團(tuán)隊的研究致力于解決這一問題，通過一系列研究成果，從3D視覺基礎(chǔ)模型到空間感知，逐步推進(jìn)具身智能的發(fā)展。

2. 三項(xiàng)核心研究成果

1. PonderV2：用于3D視覺的通用預(yù)訓(xùn)練范式

PonderV2是一個通用的3D視覺點(diǎn)云預(yù)訓(xùn)練框架，它以神經(jīng)渲染作為代理任務(wù)，能夠深度理解和感知三維真實(shí)世界。其核心優(yōu)勢在于：統(tǒng)一的預(yù)訓(xùn)練方式；同時支持室內(nèi)外場景3D任務(wù)；靈活支持多種輸入模態(tài)；同時支持高層級語義和底層重建下游任務(wù)。在11項(xiàng)室內(nèi)外基準(zhǔn)測試中，PonderV2超越了SOTA性能，相關(guān)論文已收錄于TPAMI 2025。

2. Point Cloud Matters：點(diǎn)云數(shù)據(jù)對機(jī)器人學(xué)習(xí)和泛化能力的重要性

該研究通過OBSBench基準(zhǔn)測試框架，系統(tǒng)性地評估了RGB、RGB-D和點(diǎn)云三種主流觀測空間在機(jī)器人學(xué)習(xí)任務(wù)中的表現(xiàn)。研究結(jié)果表明，基于點(diǎn)云的方法在17個接觸豐富操作任務(wù)中性能優(yōu)于RGB和RGB-D方法，并有助于提升零樣本泛化能力。相關(guān)論文已收錄于NeurIPS 2024。

3. SPA：提升機(jī)器人3D空間感知能力的表征學(xué)習(xí)框架

SPA是一個全新的3D空間感知表征學(xué)習(xí)框架，它利用大規(guī)模多視角圖像進(jìn)行可微分神經(jīng)渲染，增強(qiáng)了傳統(tǒng)視覺變換器（ViT）的內(nèi)在空間理解能力。在涵蓋268個任務(wù)、8個模擬器和多種策略的最全面的具身表征學(xué)習(xí)評估中，SPA在多項(xiàng)任務(wù)中均優(yōu)于10種現(xiàn)有的最先進(jìn)表征方法，且所需訓(xùn)練數(shù)據(jù)更少。真實(shí)世界實(shí)驗(yàn)驗(yàn)證了SPA的有效性。

3. “智猩猩具身智能前沿講座”第18講內(nèi)容概要

在12月27日晚7點(diǎn)的講座中，朱皓怡博士將圍繞“邁向空間感知：從3D視覺到具身智能”這一主題，詳細(xì)講解空間感知對于具身智能的重要性，并深入介紹PonderV2、Point Cloud Matters和SPA這三項(xiàng)研究成果，最后進(jìn)行總結(jié)和展望。

4. 講者簡介

朱皓怡博士是上海AI Lab與中國科學(xué)技術(shù)大培博士生，師從王曉剛教授、歐陽萬里教授和賀通教授，本科畢業(yè)于上海交通大學(xué)人工智能班。她的研究方向包括具身智能、機(jī)器人操作和三維視覺，致力于探索人工智能在復(fù)雜環(huán)境中的學(xué)習(xí)能力及其在機(jī)器人領(lǐng)域的應(yīng)用。她曾在NeurIPS、TPAMI等頂級會議和期刊上發(fā)表多篇高影響力論文，其中MineDojo獲NeurIPS 2022杰出論文獎。

總而言之，朱皓怡博士及其團(tuán)隊的研究為提升具身智能的泛化能力和學(xué)習(xí)效率提供了新的思路和方法，其研究成果對推動具身智能領(lǐng)域的發(fā)展具有重要意義。

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號之一，深入關(guān)注大模型與AI智能體，及時搜羅生成式AI技術(shù)產(chǎn)品。