超越GPT-4V,清華孫茂松教授團隊提出具身智能體開放平臺LEGENT

AIGC動態(tài)歡迎閱讀
原標題:超越GPT-4V,清華孫茂松教授團隊提出具身智能體開放平臺LEGENT
關(guān)鍵字:智能,模型,猩猩,清華大學,講座
文章來源:算法邦
內(nèi)容字數(shù):0字
內(nèi)容摘要:
智猩猩機器人新青年講座由AI與硬科技知識分享社區(qū)「智猩猩」全新企劃,致力于邀請全球知名高校、頂尖研究機構(gòu)以及優(yōu)秀企業(yè)的青年學者,主講在具身智能、強化學習、多智能體系統(tǒng)、建模仿真等機器人關(guān)鍵前沿技術(shù)上的研究成果和開發(fā)實踐。近年來,大語言模型(LLM)和多模態(tài)大模型(LMM)在理解和生成語言、圖像等方面展現(xiàn)出令人矚目的能力。但LLM和LMM缺乏必要的物理交互,無法很好地將其應(yīng)用到以語言為基礎(chǔ)、類似人類的具身智能體中。
而現(xiàn)有平臺存在著數(shù)據(jù)規(guī)模不足、只專注于特定的具身任務(wù)缺少泛化性,以及與當前的 LLM 和 LMM 不兼容等諸多問題。因此,如何將大模型應(yīng)用于具身智能體,使其能夠在物理世界中進行感知、推理和行動,仍然面臨著巨大的挑戰(zhàn)。
針對當前挑戰(zhàn),清華大學孫茂松教授團隊提出了一個具身智能體開放平臺LEGENT,用于開發(fā)使用 LLM 和 LMM 的具身智能體。該平臺具有一個功能強大的3D模擬環(huán)境,為具身智能體提供了豐富的訓練場景,從而提升其泛化能力。平臺具有逼真的物理效果,如重力、摩擦和碰撞等,使具身智能體能夠更好地理解物理世界的規(guī)則。此外,LEGENT構(gòu)建了一套高效的具身數(shù)據(jù)生成框架,用于場
原文鏈接:超越GPT-4V,清華孫茂松教授團隊提出具身智能體開放平臺LEGENT
聯(lián)系作者
文章來源:算法邦
作者微信:allplusai
作者簡介:智猩猩矩陣賬號之一,聚焦生成式AI,重點關(guān)注模型與應(yīng)用。

粵公網(wǎng)安備 44011502001135號