Agent觸摸漢堡辨冷熱，首次擁有類人感官！UCLA等發布3D多模態交互具身智能大模型

AIGC動態歡迎閱讀

原標題：Agent觸摸漢堡辨冷熱，首次擁有類人感官！UCLA等發布3D多模態交互具身智能大模型
關鍵字：感官,物體,模型,對象,智能
文章來源：新智元
內容字數：11981字

內容摘要：

新智元報道編輯：桃子 好困
【新智元導讀】Sam Altman認為AGI很快就會降臨，但若是沒有感官兼備的AI何以稱為智能？最近，UCLA等機構研究人員提出多模態具身智能大模型MultiPLY，AI可以知冷知熱、辨音識物。具身智能，是大模型未來應用的一個重要方向。
現在，大模型加持下的智能體，能夠參與3D環境，不僅有了聽覺視覺，還有了觸覺等多種感力。
臥室里有什么物體，一眼辨認。
聽到門鈴響了，LLM便會告訴你家里來客人了。
大模型加持的NPC，在觸摸桌子的香蕉后，發現沒熟并建議不要吃。
甚至，它還能感受到物體的溫度，餐桌上的漢堡已經涼了，會告訴你加熱后再吃。
除此之外，這些智能體借助LLM之力，還擅長使用工具、物體檢索、導航、任務分解等多種任務。
來自UMass Amherst、UCLA和MIT-IBM Watson AI Lab研究人員，推出了全新的具身智能大模型MultiPLY。
通過智能體與3D環境交互，MultiPLY呈現了大模型多感力，無縫地連接了語言、動作和感知！
論文地址：https://arxiv.org/abs/2401.08577
在推理過程中，Mult

原文鏈接：Agent觸摸漢堡辨冷熱，首次擁有類人感官！UCLA等發布3D多模態交互具身智能大模型

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。