首個無師自通、泛化使用各種家具家電的具身三維圖文大模型系統(tǒng)

AIGC動態(tài)歡迎閱讀

原標題：首個無師自通、泛化使用各種家具家電的具身三維圖文大模型系統(tǒng)
關鍵字：解讀,零件,模型,機器人,物體
文章來源：機器之心
內容字數(shù)：9771字

內容摘要：

機器之心專欄
機器之心編輯部這幾天，家務活都被機器人搶著干了。
前腳來自斯坦福的會用鍋的機器人剛剛登場，后腳又來了個會用咖啡機的機器人 Figure-01 。只需給它觀看示范視頻，加上10個小時的訓練，F(xiàn)igure-01 就能學會使用咖啡機，放咖啡膠囊到按下啟動鍵，一氣呵成。
但是想要讓機器人無師自通，第一次見到各式各樣的家具家電，就能在沒有示范視頻的情況下熟練使用。這是個難以解決的問題，不僅需要機器人擁有強大的視覺感知、決策規(guī)劃能力，更需要精確的操縱技能。
現(xiàn)在，一個三維具身圖文大模型系統(tǒng)為以上難題提供了新思路。該系統(tǒng)將基于三維視覺的精準幾何感知模型與擅長規(guī)劃的二維圖文大模型結合了起來，無需樣本數(shù)據(jù)，即可解決與家具家電有關的復雜長程任務。
這項研究由斯坦福大學的 Leonidas Guibas 教授、北京大學的王鶴教授團隊，與智源人工智能研究院合作完成。論文鏈接：https://arxiv.org/abs/2312.01307
項目主頁：https://geometry.stanford.edu/projects/sage/
代碼：https://github.com/geng-ha

原文鏈接：首個無師自通、泛化使用各種家具家電的具身三維圖文大模型系統(tǒng)

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺