意大利技術(shù)研究院最新成果：利用HYPERmotion實(shí)現(xiàn)人形機(jī)器人全身動(dòng)作生成 | 一作王進(jìn)博士主講預(yù)告

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：意大利技術(shù)研究院最新成果：利用HYPERmotion實(shí)現(xiàn)人形機(jī)器人全身動(dòng)作生成 | 一作王進(jìn)博士主講預(yù)告
關(guān)鍵字：機(jī)器人,人形,任務(wù),行為,全身
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

控制人形機(jī)器人執(zhí)行復(fù)雜的全身動(dòng)作是機(jī)器人學(xué)領(lǐng)域的一個(gè)重大挑戰(zhàn)。盡管，在人形機(jī)器人元年，一些研究推動(dòng)人形機(jī)器人在全身控制方面取得了顯著進(jìn)展，但在執(zhí)行復(fù)雜任務(wù)和適應(yīng)性方面仍然面臨諸多問(wèn)題。
為此，意大利技術(shù)研究院(iit)博士生研究員王進(jìn)等提出用于不同場(chǎng)景中基于任務(wù)學(xué)習(xí)、選擇和規(guī)劃行為的框架HYPERmotion。相關(guān)論文成果收錄于CoRL 2024。該框架能夠結(jié)合強(qiáng)化學(xué)習(xí)與全身模型預(yù)測(cè)控制生形機(jī)器人全身動(dòng)作，并將其開(kāi)發(fā)為庫(kù)中的一種技能。此外，通過(guò)將LLMs的在線(xiàn)規(guī)劃和推理功能應(yīng)用于復(fù)雜的移動(dòng)操作任務(wù)，還形成了一個(gè)包含一系列基本行為的層次化任務(wù)圖，以橋接低級(jí)執(zhí)行和高階自動(dòng)化規(guī)劃。通過(guò)利用提煉的空間幾何和2D觀測(cè)與VLM的交互，將知識(shí)嵌入構(gòu)建的機(jī)器人形態(tài)選擇器中，從而選擇單臂或雙臂、腿式或輪式的適當(dāng)動(dòng)作。通過(guò)在仿真和現(xiàn)實(shí)環(huán)境中進(jìn)行大規(guī)模實(shí)驗(yàn)，HYPERmotion展示了機(jī)器人所學(xué)的全身技能可以高效適應(yīng)新任務(wù)，表現(xiàn)出從文本指令中獲得的高自主性，并在非結(jié)構(gòu)化場(chǎng)景中進(jìn)行規(guī)劃。此外，王進(jìn)博士等研究人員又提出基于LLM的人形機(jī)器人自主行為規(guī)劃框架，機(jī)器人能夠根據(jù)文本指令自主規(guī)劃行為和低