HMA – MIT聯(lián)合Meta等推出的機(jī)器人動(dòng)作視頻動(dòng)態(tài)建模方法

HMA是什么

HMA（Heterogeneous Masked Autoregression）是一種由麻省理工學(xué)院、Meta及伊利諾伊大學(xué)香檳分校共同開源的技術(shù)，旨在建模機(jī)器人動(dòng)作視頻的動(dòng)態(tài)表現(xiàn)。該方法依托于異構(gòu)預(yù)訓(xùn)練，利用來自不同機(jī)器人實(shí)體、領(lǐng)域和任務(wù)的觀測(cè)和動(dòng)作序列，結(jié)合掩碼自回歸技術(shù)，以實(shí)現(xiàn)視頻預(yù)測(cè)。HMA提供了離散和連續(xù)兩種變體，適用于快速生成和高保真度生成，能夠有效處理動(dòng)作空間的多樣性，包括不同的動(dòng)作頻率、維度和動(dòng)作類型，并通過模塊化網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)實(shí)時(shí)高效交互。HMA在機(jī)器人學(xué)習(xí)領(lǐng)域展現(xiàn)了廣泛的應(yīng)用潛力，包括視頻模擬、策略評(píng)估、合成數(shù)據(jù)生成以及作為模仿策略的使用，尤其在擴(kuò)展性和實(shí)時(shí)性方面表現(xiàn)突出。

HMA的主要功能

• 視頻模擬：生成高質(zhì)量的視頻序列，模擬機(jī)器人在不同環(huán)境中的效果，廣泛應(yīng)用于虛擬環(huán)境的交互和測(cè)試。
• 策略評(píng)估：作為高保真模擬器，評(píng)估機(jī)器人策略的性能，預(yù)測(cè)其在真實(shí)環(huán)境中的表現(xiàn)。
• 合成數(shù)據(jù)生成：生成大量合成數(shù)據(jù)，增強(qiáng)機(jī)器人訓(xùn)練數(shù)據(jù)集，提升策略的泛化能力。
• 模仿策略：作為模仿學(xué)習(xí)的策略，直接預(yù)測(cè)機(jī)器人在特定觀測(cè)下的動(dòng)作。

HMA的技術(shù)原理

• 異構(gòu)預(yù)訓(xùn)練：
  • 數(shù)據(jù)來源：通過大量來自不同機(jī)器人實(shí)體、任務(wù)與領(lǐng)域的觀測(cè)和動(dòng)作序列數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，涵蓋從簡(jiǎn)單到復(fù)雜的動(dòng)作空間。
  • 動(dòng)作異構(gòu)性處理：為每個(gè)領(lǐng)域設(shè)計(jì)特定的動(dòng)作編碼器和解碼器，將不同的動(dòng)作空間映射到共享的潛在空間，以處理動(dòng)作頻率、維度和動(dòng)作空間的異構(gòu)性。
  • 模塊化架構(gòu)：網(wǎng)絡(luò)架構(gòu)由多個(gè)動(dòng)作輸入模塊（“stem”）、動(dòng)作輸出模塊（“head”）和共享的核心時(shí)空變換器（“trunk”）組成，支持高效的預(yù)訓(xùn)練和靈活擴(kuò)展。
• 掩碼自回歸：
  • 掩碼目標(biāo)：在訓(xùn)練過程中，模型基于掩碼自編碼目標(biāo)隨機(jī)掩碼部分標(biāo)記，并根據(jù)未掩碼的標(biāo)記預(yù)測(cè)掩碼部分，以學(xué)習(xí)序列的聯(lián)合分布。
  • 自回歸生成：在推理時(shí)，模型逐步取消掩碼，生成未來的視頻幀和動(dòng)作序列，從而實(shí)現(xiàn)高效且高質(zhì)量的生成。
  • 兩種變體：HMA支持離散變體（生成矢量量化標(biāo)記）和連續(xù)變體（生成軟標(biāo)記），分別適用于快速生成和高保真度生成。

HMA的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://liruiw.github.io/hma/
• GitHub倉庫：https://github.com/liruiw/HMA
• HuggingFace模型庫：https://huggingface.co/liruiw/hma-base-disc
• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.04296
• 在線體驗(yàn)Demo：https://huggingface.co/spaces/liruiw/hma

HMA的應(yīng)用場(chǎng)景

• 實(shí)時(shí)視頻模擬：快速生成機(jī)器人在多種環(huán)境中的動(dòng)作視頻，應(yīng)用于虛擬交互測(cè)試，驗(yàn)證策略效果，減少實(shí)際部署成本。
• 策略評(píng)估：作為高保真的模擬器，評(píng)估機(jī)器人策略性能，并預(yù)測(cè)其在真實(shí)環(huán)境中的表現(xiàn)，以輔助策略優(yōu)化。
• 合成數(shù)據(jù)生成：生成大量合成數(shù)據(jù)，擴(kuò)充訓(xùn)練數(shù)據(jù)集，提升策略的泛化能力，尤其在數(shù)據(jù)稀缺情況下效果顯著。
• 模仿學(xué)習(xí)：直接作為模仿策略，依據(jù)當(dāng)前觀測(cè)預(yù)測(cè)機(jī)器人動(dòng)作，快速響應(yīng)環(huán)境變化，提高任務(wù)執(zhí)行效率。
• 長(zhǎng)期規(guī)劃與控制：HMA支持生成長(zhǎng)序列的視頻和動(dòng)作預(yù)測(cè)，助力機(jī)器人進(jìn)行長(zhǎng)期規(guī)劃和模型預(yù)測(cè)控制，提升復(fù)雜任務(wù)的完成率。