超越GPT-4V，清華孫茂松教授團(tuán)隊(duì)提出具身智能體開(kāi)放平臺(tái)LEGENT

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：超越GPT-4V，清華孫茂松教授團(tuán)隊(duì)提出具身智能體開(kāi)放平臺(tái)LEGENT
關(guān)鍵字：智能,模型,猩猩,清華大學(xué),講座
文章來(lái)源：算法邦
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

智猩猩機(jī)器人新青年講座由AI與硬科技知識(shí)分享社區(qū)「智猩猩」全新企劃，致力于邀請(qǐng)全球知名高校、頂尖研究機(jī)構(gòu)以及優(yōu)秀企業(yè)的青年學(xué)者，主講在具身智能、強(qiáng)化學(xué)習(xí)、多智能體系統(tǒng)、建模仿真等機(jī)器人關(guān)鍵前沿技術(shù)上的研究成果和開(kāi)發(fā)實(shí)踐。近年來(lái)，大語(yǔ)言模型（LLM）和多模態(tài)大模型（LMM）在理解和生成語(yǔ)言、圖像等方面展現(xiàn)出令人矚目的能力。但LLM和LMM缺乏必要的物理交互，無(wú)法很好地將其應(yīng)用到以語(yǔ)言為基礎(chǔ)、類(lèi)似人類(lèi)的具身智能體中。
而現(xiàn)有平臺(tái)存在著數(shù)據(jù)規(guī)模不足、只專(zhuān)注于特定的具身任務(wù)缺少泛化性，以及與當(dāng)前的 LLM 和 LMM 不兼容等諸多問(wèn)題。因此，如何將大模型應(yīng)用于具身智能體，使其能夠在物理世界中進(jìn)行感知、推理和行動(dòng)，仍然面臨著巨大的挑戰(zhàn)。
針對(duì)當(dāng)前挑戰(zhàn)，清華大學(xué)孫茂松教授團(tuán)隊(duì)提出了一個(gè)具身智能體開(kāi)放平臺(tái)LEGENT，用于開(kāi)發(fā)使用 LLM 和 LMM 的具身智能體。該平臺(tái)具有一個(gè)功能強(qiáng)大的3D模擬環(huán)境，為具身智能體提供了豐富的訓(xùn)練場(chǎng)景，從而提升其泛化能力。平臺(tái)具有逼真的物理效果，如重力、摩擦和碰撞等，使具身智能體能夠更好地理解物理世界的規(guī)則。此外，LEGENT構(gòu)建了一套高效的具身數(shù)據(jù)生成框架，用于場(chǎng)

原文鏈接：超越GPT-4V，清華孫茂松教授團(tuán)隊(duì)提出具身智能體開(kāi)放平臺(tái)LEGENT