何愷明新作出爐！異構預訓練Transformer顛覆本體視覺學習范式，AI性能暴漲超20%

AIGC動態歡迎閱讀

原標題：何愷明新作出爐！異構預訓練Transformer顛覆本體視覺學習范式，AI性能暴漲超20%
關鍵字：數據,機器人,模型,本體,任務
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：桃子喬楊
【新智元導讀】通用機器人模型，如何解決異構性難題？來自MIT、Meta FAIR團隊全新提出異構預訓練Transformer（HPT），不用從頭訓練，即可。通用機器人模型，目前最大的障礙便是「異構性」。
也就是說，必須收集全方位——每個機器人、任務和環境的特定數據，而且學習后的策略還不能泛化到這些特定設置之外。
由此，AI大神何愷明帶隊的MIT、Meta FAIR團隊，提出了異構預訓練Transformer（HPT）模型。
即預訓練一個大型、可共享的神經網絡主干，就能學習與任務和機器人形態無關的共享表示。
簡單講，就是在你的策略模型中間放置一個可擴展的Transformer，不用從頭開始訓練！
論文地址：https://arxiv.org/pdf/2409.20537
研究人員將不同本體視覺輸入對齊到統一的token序列，再處理這些token以控制不同任務的機器人。
最后發現，HPT優于多個基準模型，并在模擬器基準和真實世界環境中，將未見任務微調策略性能，提升20%。
值得一提的是，這項研究被NeurIPS 2024接收為Spotlight。
在真實環

原文鏈接：何愷明新作出爐！異構預訓練Transformer顛覆本體視覺學習范式，AI性能暴漲超20%