突破極限：清華TSAIL團隊發布全新12億參數雙臂機器人操作擴散基座模型RDT！

清華大學TSAIL團隊博士生劉松銘主講

原標題：清華TSAIL團隊開源12億參數的雙臂機器人操作擴散基座模型RDT | 一作劉松銘博士主講預告
文章來源：智猩猩GenAI
內容字數：2052字

雙臂機器人操作與擴散基座模型的突破

雙臂機器人在機器人技術中扮演著重要角色，但由于其固有的復雜性和訓練數據的稀缺，開發高效的基座模型一直是一個巨大的挑戰。傳統的操作策略往往局限于特定任務或小規模模型，使得其應用范圍受到限制。為此，清華大學人工智能研究院 TSAIL 團隊提出了一種新的解決方案——Robotics Diffusion Transformer（RDT），這是目前最大的用于機器人操作的擴散基座模型，參數量達到1.2B，并已實現開源。

1. 技術挑戰與解決方案

雙臂機器人操作面臨多種技術挑戰，包括協調性、靈活性和對復雜任務的適應能力。RDT模型通過采用擴散模型的方式，有效地表示多峰的人類動作分布。此外，它利用可擴展的Transformer架構，能夠處理異構的多模態輸入，捕捉機器人數據中的非線性和高頻特性，進而提升機器人的操作能力。

2. 物理可解釋的統一動作空間

為了解決數據稀缺的問題，RDT模型引入了一種物理可解釋的統一動作空間，這一空間能夠統一不同機器人的動作表示，同時保留原始動作的物理含義。這一設計不僅促進了可遷移的物理知識的學習，也增強了機器人在多樣化任務中的靈活性和適應能力。

3. 微調與任務完成效果分析

RDT模型在超過6000條軌跡的雙臂數據集上進行了微調，顯著提升了其在復雜任務中的表現。雙臂機器人ALOHA在RDT模型的加持下，成功挑戰了7項高難度任務，平均成功率比當前最好的模型高出56%。這一成果表明，RDT模型在控制方面已經接近人類的水平，展現了其強大的應用潛力。

4. 總結與展望

RDT模型的推出為雙臂機器人操作領域帶來了新的可能性，其在實現自作能力和復雜任務處理上取得的突破，標志著機器人技術向更高層次發展的重要一步。未來，隨著技術的不斷進步，雙臂機器人將在更多實際應用中發揮作用，推動智能機器人技術的進一步發展。

該模型的詳細研究成果已發表于論文《RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation》，感興趣的朋友可以通過以下鏈接了解更多信息：論文鏈接，以及項目地址：項目地址。對于想參與相關討論的朋友，歡迎添加小助手進行報名。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號之一，深入關注大模型與AI智能體，及時搜羅生成式AI技術產品。