ICLR 2025 | 機(jī)器人安燈泡、切東西都能拿捏，可操控軌跡跟蹤的DexTrack來了

AIGC動態(tài)4個(gè)月前發(fā)布機(jī)器之心

445 0 0

讓現(xiàn)實(shí)和唯美的科幻更近一點(diǎn)，邁向通用靈巧操控技能的一小步。

原標(biāo)題：ICLR 2025 | 機(jī)器人安燈泡、切東西都能拿捏，可操控軌跡跟蹤的DexTrack來了
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4199字

DexTrack：邁向通用靈巧操控的軌跡跟蹤方法

本文介紹了DexTrack，一種用于實(shí)現(xiàn)通用靈巧操控的軌跡跟蹤方法。該方法旨在解決機(jī)器人靈巧操控任務(wù)中存在的挑戰(zhàn)，例如任務(wù)多樣性、對特定任務(wù)的依賴以及復(fù)雜的接觸交互等。

1. 研究動機(jī)：通往通用靈巧操控的挑戰(zhàn)

賦予機(jī)器人像人類一樣的靈巧操控能力是實(shí)現(xiàn)具身智能的關(guān)鍵一步。然而，現(xiàn)有的方法大多集中在特定技能的學(xué)習(xí)上，例如抓取或旋轉(zhuǎn)物體，難以遷移到其他任務(wù)。這些方法通常需要針對特定任務(wù)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)，限制了通用性的實(shí)現(xiàn)。DexTrack旨在通過統(tǒng)一的任務(wù)表示和通用的軌跡跟蹤控制器來克服這一挑戰(zhàn)。

2. DexTrack：基于軌跡跟蹤的通用方法

DexTrack將各種靈巧操控任務(wù)統(tǒng)一表示為軌跡跟蹤任務(wù)。給定機(jī)器人手和物體的當(dāng)前狀態(tài)以及目標(biāo)狀態(tài)，軌跡跟蹤控制器需要輸出相應(yīng)的動作，以使實(shí)際狀態(tài)與目標(biāo)狀態(tài)一致。這種統(tǒng)一的表示方法適用于多種操控任務(wù)，例如旋轉(zhuǎn)物體或使用工具。

DexTrack采用了一種結(jié)合強(qiáng)化學(xué)習(xí)(RL)和模仿學(xué)習(xí)(IL)的方法來訓(xùn)練通用軌跡跟蹤控制器。通過引入高質(zhì)量的軌跡跟蹤數(shù)據(jù)作為監(jiān)督信號，降低了RL訓(xùn)練的難度。同時(shí)，DexTrack還利用訓(xùn)練好的控制器來改進(jìn)單一軌跡跟蹤演示的質(zhì)量，形成一個(gè)迭代優(yōu)化的過程。

2.1 統(tǒng)一的軌跡跟蹤任務(wù)表示

DexTrack將不同的操控任務(wù)統(tǒng)一到一個(gè)軌跡跟蹤框架下，通過規(guī)劃物體的軌跡，將任務(wù)轉(zhuǎn)化為跟蹤該軌跡的任務(wù)。這種統(tǒng)一的表示簡化了控制器的設(shè)計(jì)。

2.2 通用軌跡的學(xué)習(xí)方法

DexTrack的訓(xùn)練方法結(jié)合了強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)，利用高質(zhì)量的軌跡跟蹤數(shù)據(jù)作為監(jiān)督信號來輔助強(qiáng)化學(xué)習(xí)的訓(xùn)練過程。這種方法有效地提高了軌跡跟蹤控制器的學(xué)習(xí)效率和泛化能力。

獎(jiǎng)勵(lì)函數(shù)由物體軌跡跟蹤獎(jiǎng)勵(lì)、手部軌跡跟蹤獎(jiǎng)勵(lì)和手與物體的親密度獎(jiǎng)勵(lì)三部分組成。此外，DexTrack還利用同倫優(yōu)化(homotopy optimization)來進(jìn)一步提高軌跡跟蹤的效果。

3. 實(shí)驗(yàn)結(jié)果與分析

DexTrack在各種具有挑戰(zhàn)性的操控任務(wù)中取得了顯著的成果，包括轉(zhuǎn)動燈泡、調(diào)整刀具角度、旋轉(zhuǎn)錘子等。實(shí)驗(yàn)結(jié)果表明，DexTrack能夠處理復(fù)雜的物體軌跡，并對噪聲具有魯棒性。此外，DexTrack也能夠泛化到未曾見過的物體和類型。

真機(jī)實(shí)驗(yàn)驗(yàn)證了DexTrack在真實(shí)世界中的可行性，模擬器實(shí)驗(yàn)則進(jìn)一步證明了其在復(fù)雜場景下的有效性。同倫優(yōu)化方法也被證明可以有效地提高軌跡跟蹤的精度。

4. 結(jié)論

DexTrack提出了一種基于軌跡跟蹤的通用靈巧操控方法，通過統(tǒng)一的任務(wù)表示和結(jié)合RL和IL的訓(xùn)練方法，有效地解決了通用靈巧操控的挑戰(zhàn)。其在真實(shí)世界和模擬環(huán)境中的實(shí)驗(yàn)結(jié)果都證明了該方法的有效性和魯棒性，為未來通用靈巧操控的研究提供了新的方向。