涉及多篇CVPR'24 Highlight！通研院研究員賈寶雄主講具身智能視角下的三維場景理解、生成與交互

AIGC動態歡迎閱讀

原標題：涉及多篇CVPR'24 Highlight！通研院研究員賈寶雄主講具身智能視角下的三維場景理解、生成與交互
關鍵字：場景,智能,數據,猩猩,論文
文章來源：算法邦
內容字數：0字

內容摘要：

智猩猩機器人新青年講座由AI與硬科技知識分享社區「智猩猩」全新企劃，致力于邀請全球知名高校、頂尖研究機構以及優秀企業的青年學者，主講在具身智能、強化學習、多智能體系統、建模仿真等機器人關鍵前沿技術上的研究成果和開發實踐。具身智能的發展離不開對物理世界的理解與交互，這些理解與交互受限于三維數據的獲取，尤其是與語義對齊的三維場景數據。這在很大程度上限制了現有模型及方法在具身智能方向上的有效性。
針對當前問題，北京通研院BIGAI通用視覺實驗室研究員賈寶雄博士等研究人員提出一個百萬級別的3D視覺語言數據集SceneVerse，并提出了Grounded Pre-training for Scenes (GPS)預訓練框架，與SceneVerse相關成果收錄于ECCV 2024。他們通過SceneVerse試圖匯集現有大部分真實三維場景數據，并開發基于大語言模型的工具鏈進行有效地三維場景-語義數據生成，通過scaling來提升現有模型在三維場景理解方向上的效果。然而，想要完成可泛化的具身智能體訓練，尤其是涉及與場景的真實交互，需要大量的真實數據。但真實掃描數據很難被放入模擬器中，因此在數據量和質

原文鏈接：涉及多篇CVPR'24 Highlight！通研院研究員賈寶雄主講具身智能視角下的三維場景理解、生成與交互

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。