AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：何愷明新作出爐！異構(gòu)預(yù)訓(xùn)練Transformer顛覆本體視覺學(xué)習(xí)范式，AI性能暴漲超20%
關(guān)鍵字：數(shù)據(jù),機(jī)器人,模型,本體,任務(wù)
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：桃子 喬楊
【新智元導(dǎo)讀】通用機(jī)器人模型，如何解決異構(gòu)性難題？來自MIT、Meta FAIR團(tuán)隊(duì)全新提出異構(gòu)預(yù)訓(xùn)練Transformer（HPT），不用從頭訓(xùn)練，即可。通用機(jī)器人模型，目前最大的障礙便是「異構(gòu)性」。
也就是說，必須收集全方位——每個(gè)機(jī)器人、任務(wù)和環(huán)境的特定數(shù)據(jù)，而且學(xué)習(xí)后的策略還不能泛化到這些特定設(shè)置之外。
由此，AI大神何愷明帶隊(duì)的MIT、Meta FAIR團(tuán)隊(duì)，提出了異構(gòu)預(yù)訓(xùn)練Transformer（HPT）模型。
即預(yù)訓(xùn)練一個(gè)大型、可共享的神經(jīng)網(wǎng)絡(luò)主干，就能學(xué)習(xí)與任務(wù)和機(jī)器人形態(tài)無關(guān)的共享表示。
簡(jiǎn)單講，就是在你的策略模型中間放置一個(gè)可擴(kuò)展的Transformer，不用從頭開始訓(xùn)練！
論文地址：https://arxiv.org/pdf/2409.20537
研究人員將不同本體視覺輸入對(duì)齊到統(tǒng)一的token序列，再處理這些token以控制不同任務(wù)的機(jī)器人。
最后發(fā)現(xiàn)，HPT優(yōu)于多個(gè)基準(zhǔn)模型，并在模擬器基準(zhǔn)和真實(shí)世界環(huán)境中，將未見任務(wù)微調(diào)策略性能，提升20%。
值得一提的是，這項(xiàng)研究被NeurIPS 2024接收為Spotlight。
在真實(shí)環(huán)

原文鏈接：何愷明新作出爐！異構(gòu)預(yù)訓(xùn)練Transformer顛覆本體視覺學(xué)習(xí)范式，AI性能暴漲超20%

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡(jiǎn)介：