AIGC動態(tài)歡迎閱讀

原標(biāo)題：3D版Sora來了？UMass、MIT等提出3D世界模型，具身智能機器人實現(xiàn)新里程碑
關(guān)鍵字：模型,研究人員,機器人,數(shù)據(jù),場景
文章來源：新智元
內(nèi)容字?jǐn)?shù)：10285字

內(nèi)容摘要：

新智元報道編輯：LRS 好困
【新智元導(dǎo)讀】具身基礎(chǔ)模型突破2D，全新生成式視覺-語言-行動模型3D-VLA，在多項任務(wù)中顯著提高了推理、多模態(tài)生成和規(guī)劃的能力。在最近的研究中，視覺-語言-動作（VLA，vision-language-action）模型的輸入基本都是2D數(shù)據(jù)，沒有集成更通用的3D物理世界。
此外，現(xiàn)有的模型通過學(xué)習(xí)「感知到動作的直接映射」來進行動作預(yù)測，忽略了世界的動態(tài)性，以及動作和動態(tài)之間的關(guān)系。
相比之下，人類在思考時會引入世界模型，可以描繪除對未來情景的想象，從而對下一步的行動進行規(guī)劃。
為此，來自馬薩諸塞州大學(xué)阿默斯特分校、MIT等機構(gòu)的研究人員提出了3D-VLA模型，通過引入一類全新的具身基礎(chǔ)模型（embodied foundation models），可以根據(jù)生成的世界模型無縫連接3D感知、推理和行動。項目主頁：https://vis-www.cs.umass.edu/3dvla/
論文地址：https://arxiv.org/abs/2403.09631
具體而言，3D-VLA構(gòu)建在基于3D的大型語言模型（LLM）之上，并引入一組交互token來參與具

原文鏈接：3D版Sora來了？UMass、MIT等提出3D世界模型，具身智能機器人實現(xiàn)新里程碑

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。