北大提出首個通用指令導(dǎo)航大模型系統(tǒng) | CoRL 24

AIGC動態(tài)歡迎閱讀
原標(biāo)題:北大提出首個通用指令導(dǎo)航大模型系統(tǒng) | CoRL 24
關(guān)鍵字:價值,指令,任務(wù),地圖,機(jī)器人
文章來源:量子位
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
董豪團(tuán)隊(duì) 投稿量子位 | 公眾號 QbitAI想象一下當(dāng)你躺在沙發(fā)上,只需要不假思索地說出指令,機(jī)器人就能幫你干活,是不是聽起來就十分愜意?
如今這種科幻電影中的場景正在變?yōu)楝F(xiàn)實(shí),來自北京大學(xué)的助理教授、博士生導(dǎo)師董豪團(tuán)隊(duì)近日提出首個通用指令導(dǎo)航大模型系統(tǒng)InstructNav。
不論是尋找物體,走到指定位置,還是滿足抽象的人類需求,只要你說出指令,InstructNav都能幫你實(shí)現(xiàn)。
目前該工作已經(jīng)被CoRL(Conference on Robot Learning)2024會議錄用,文章可在Arxiv瀏覽,代碼也即將在近期開源。
大模型如何統(tǒng)一具身指令導(dǎo)航規(guī)劃?不同的導(dǎo)航任務(wù)要求截然不同的能力,經(jīng)典的物體導(dǎo)目標(biāo)航任務(wù)需要理解房間結(jié)構(gòu)和物體之間的聯(lián)系,視覺語言導(dǎo)航任務(wù)側(cè)重于嚴(yán)謹(jǐn)?shù)刈裱噶睿屡d的需求驅(qū)動的導(dǎo)航任務(wù)要求根據(jù)人類抽象需求進(jìn)行語義推理。
先前研究工作都圍繞某一種特定類型的指令設(shè)計(jì)一個特定類型的導(dǎo)航方法,然而在真實(shí)應(yīng)用中,人類可能向機(jī)器人下達(dá)不同形式的指令,甚至混合類型指令,現(xiàn)有的具身導(dǎo)航模型都無法滿足這樣的實(shí)際需求,因此實(shí)現(xiàn)通用指令導(dǎo)航對于機(jī)器人在現(xiàn)實(shí)世界的應(yīng)用充滿價值。
原文鏈接:北大提出首個通用指令導(dǎo)航大模型系統(tǒng) | CoRL 24
聯(lián)系作者
文章來源:量子位
作者微信:
作者簡介:

粵公網(wǎng)安備 44011502001135號