“具身智能小鎮(zhèn)”來(lái)了!機(jī)器人逛超市買菜滿街跑,AI充當(dāng)NPC,來(lái)自上海AI Lab
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:“具身智能小鎮(zhèn)”來(lái)了!機(jī)器人逛超市買菜滿街跑,AI充當(dāng)NPC,來(lái)自上海AI Lab
關(guān)鍵字:機(jī)器人,場(chǎng)景,物體,模型,桃源
文章來(lái)源:量子位
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
明敏 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI超逼真的機(jī)器人小鎮(zhèn)來(lái)了!
在這里,機(jī)器人可以像人一樣在超市里購(gòu)物:
買菜回家做飯:
在辦公室里接咖啡(旁邊還有人類同事):
不只有人形機(jī)器人,機(jī)器狗、臂式機(jī)器人也在這個(gè)“城市”里穿梭自如。
這就是由上海AI實(shí)驗(yàn)室最新提出的首個(gè)模擬交互式3D世界:GRUtopia(中文名:桃源)。
在這里,由多達(dá)100k個(gè)交互式、帶精細(xì)注釋的場(chǎng)景組合成逼真城市環(huán)境。
包含室內(nèi)室外,餐廳、超市、辦公室、家庭等89個(gè)不同場(chǎng)景類別。
由大模型驅(qū)動(dòng)的NPC,可以在這個(gè)世界里和機(jī)器人對(duì)話交互。
這樣一來(lái),各種機(jī)器人能在虛擬小鎮(zhèn)里完成各種行為模擬,也就是最近流行的Sim2Real路線,能大幅降低具身智能現(xiàn)實(shí)世界數(shù)據(jù)收集難度和成本。
該項(xiàng)目計(jì)劃開源,現(xiàn)階段在GitHub上已提供demo安裝指南。
安裝成功后,就能在demo里控制一個(gè)人形機(jī)器人在房間內(nèi)活動(dòng),并支持調(diào)整不同視角。
機(jī)器人的虛擬桃源其核心工作共有三項(xiàng):
GRScenes
GRResidents
GRBench
其中,GRScenes是一個(gè)包含大規(guī)模場(chǎng)景數(shù)據(jù)的數(shù)據(jù)集。
它極大程度上擴(kuò)展了機(jī)器人可以活動(dòng)和操
原文鏈接:“具身智能小鎮(zhèn)”來(lái)了!機(jī)器人逛超市買菜滿街跑,AI充當(dāng)NPC,來(lái)自上海AI Lab
聯(lián)系作者
文章來(lái)源:量子位
作者微信:
作者簡(jiǎn)介: