港大最新成果:基于多模態(tài)大模型的腦身同步框架BBSEA|講座預(yù)告

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:港大最新成果:基于多模態(tài)大模型的腦身同步框架BBSEA|講座預(yù)告
關(guān)鍵字:智能,模型,機(jī)器人,猩猩,講座
文章來源:算法邦
內(nèi)容字?jǐn)?shù):3662字
內(nèi)容摘要:
智猩猩機(jī)器人新青年講座由AI與硬科技知識(shí)分享社區(qū)「智猩猩」全新企劃,致力于邀請(qǐng)全球知名高校、頂尖研究機(jī)構(gòu)以及優(yōu)秀企業(yè)的青年學(xué)者,主講在具身智能、強(qiáng)化學(xué)習(xí)、多智能體系統(tǒng)、建模仿真等機(jī)器人關(guān)鍵前沿技術(shù)上的研究成果和開發(fā)實(shí)踐。
目前講座已完結(jié)6講,錯(cuò)過直播的朋友,可以點(diǎn)擊文章底部“閱讀原文”觀看回放!具身智能包括機(jī)器人本體,和決定其智能化的大腦、小腦、腦身同步。目前大腦的研究方向是大模型,讓機(jī)器人聽懂人的語言;小腦為控制身體,掌握基本技能;腦身同步指機(jī)器人的意識(shí)訓(xùn)練。
大語言模型能在語言空間中進(jìn)行推理,并通過視覺輸入進(jìn)行問答,但不具備環(huán)境的具身感知能力,無法與其互動(dòng)。而具身智能體能與場(chǎng)景互動(dòng),但缺乏對(duì)物理世界的理解,無法完成具有意義的語義任務(wù)。
為此,香港大學(xué)楊言超老師團(tuán)隊(duì)提出一種基于大型基礎(chǔ)模型的具身智能體腦身同步框架BBSEA。將包括LLMs和VLMs的大型基礎(chǔ)模型(Large Foundation Models,LFMs)視為一個(gè)擁有物理世界常識(shí)的“大腦”,并探索了利用大腦的非物質(zhì)結(jié)構(gòu)知識(shí)訓(xùn)練具身智能體(身體)與物理世界的互動(dòng)。與BBSEA相關(guān)的論文目前收錄在arXiv 上,其
原文鏈接:港大最新成果:基于多模態(tài)大模型的腦身同步框架BBSEA|講座預(yù)告
聯(lián)系作者
文章來源:算法邦
作者微信:allplusai
作者簡(jiǎn)介:智猩猩矩陣賬號(hào)之一,聚焦生成式AI,重點(diǎn)關(guān)注模型與應(yīng)用。

粵公網(wǎng)安備 44011502001135號(hào)