清華開(kāi)源的雙臂機(jī)器人擴(kuò)散基礎(chǔ)模型

產(chǎn)品名稱(chēng)：RDT
產(chǎn)品簡(jiǎn)介：RDT（Robotics Diffusion Transformer）是清華大學(xué)AI研究院TSAIL團(tuán)隊(duì)推出的全球最大的雙臂機(jī)器人操作任務(wù)擴(kuò)散基礎(chǔ)模型。RDT具備十億參數(shù)量，能在無(wú)需人類(lèi)操控的情況下，自主完成復(fù)雜任務(wù)，如調(diào)酒和遛狗。
詳細(xì)介紹：

RDT是什么

RDT（Robotics Diffusion Transformer）是清華大學(xué)AI研究院TSAIL團(tuán)隊(duì)推出的全球最大的雙臂機(jī)器人操作任務(wù)擴(kuò)散基礎(chǔ)模型。RDT具備十億參數(shù)量，能在無(wú)需人類(lèi)操控的情況下，自主完成復(fù)雜任務(wù)，如調(diào)酒和遛狗。RDT基于模仿學(xué)習(xí)人類(lèi)動(dòng)作，展現(xiàn)出強(qiáng)大的泛化能力和操作精度，能處理未見(jiàn)過(guò)的物體和場(chǎng)景。清華團(tuán)隊(duì)已將RDT的代碼、模型和訓(xùn)練數(shù)據(jù)集開(kāi)源，推動(dòng)機(jī)器人技術(shù)的發(fā)展和應(yīng)用。

RDT的主要功能

• 雙臂協(xié)調(diào)操作：指揮機(jī)器人的雙臂協(xié)同工作，完成復(fù)雜的物理任務(wù)，例如調(diào)酒和遛狗。
• 自主任務(wù)執(zhí)行：無(wú)需人類(lèi)直接操控，自主完成之前未見(jiàn)過(guò)的全新任務(wù)。
• 高精確度操作：RDT能進(jìn)行精確的操作，如控制機(jī)器狗走直線，需要極高的操作精度。
• 語(yǔ)言指令理解：理解并遵循人類(lèi)的自然語(yǔ)言指令，執(zhí)行相應(yīng)的動(dòng)作。
• 少樣本學(xué)習(xí)：RDT具有強(qiáng)大的學(xué)習(xí)能力，只需少量演示能學(xué)會(huì)新技能。

RDT的技術(shù)原理

• 多模態(tài)輸入編碼：RDT結(jié)合語(yǔ)言、視覺(jué)和動(dòng)作三種模態(tài)，基于不同的編碼方式處理輸入。
  • 動(dòng)作編碼：具有傅里葉特征的多層感知機(jī)（MLP）。
  • 圖片編碼：基于經(jīng)過(guò)對(duì)齊的SigLIP。
  • 語(yǔ)言編碼：使用T5-XXL語(yǔ)言模型。
• Transformer骨干網(wǎng)絡(luò)：RDT采用Transformer作為骨干網(wǎng)絡(luò)，針對(duì)機(jī)器人操作進(jìn)行關(guān)鍵修改。
  • QKNorm和RMSNorm：緩解傳感器失靈導(dǎo)致的極端值問(wèn)題。
  • 非線性MLP解碼器：增強(qiáng)對(duì)非線性動(dòng)力學(xué)的近似能力。
  • 交替注入：平衡圖像和文本模態(tài)，防止信息淹沒(méi)。
• 預(yù)訓(xùn)練與微調(diào)：RDT在大規(guī)模的具身數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，獲得泛化性，基于高質(zhì)量的雙臂微調(diào)數(shù)據(jù)集進(jìn)行微調(diào)，增強(qiáng)雙臂操作能力。
• 統(tǒng)一動(dòng)作空間：構(gòu)建統(tǒng)一的動(dòng)作空間統(tǒng)一不同機(jī)器人數(shù)據(jù)的格式，讓模型從不同數(shù)據(jù)中學(xué)習(xí)共享的物理規(guī)律。
• 泛化性和操作精度測(cè)試：設(shè)計(jì)挑戰(zhàn)性任務(wù)，評(píng)估RDT的泛化能力和操作精度，確保在實(shí)際應(yīng)用中的有效性。

RDT的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：rdt-robotics.github.io/rdt-robotics
• GitHub倉(cāng)庫(kù)：https://github.com/thu-ml/RoboticsDiffusionTransformer
• HuggingFace模型庫(kù)：https://huggingface.co/robotics-diffusion-transformer/rdt-1b
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.07864

RDT的應(yīng)用場(chǎng)景

• 餐飲服務(wù)：用在自動(dòng)化調(diào)酒、烹飪和上菜等任務(wù)，提高餐飲服務(wù)業(yè)的效率和創(chuàng)新性。
• 家庭助理：在家庭環(huán)境中，執(zhí)行清潔、整理、洗衣等家務(wù)任務(wù)，還能照顧寵物，如遛狗。
• 醫(yī)療輔助：輔助醫(yī)護(hù)人員進(jìn)行一些常規(guī)的護(hù)理工作，比如分發(fā)藥物、搬運(yùn)醫(yī)療設(shè)備等。
• 工業(yè)自動(dòng)化：在制造業(yè)中，用在精密的裝配工作、質(zhì)量檢測(cè)及物料搬運(yùn)等任務(wù)。
• 災(zāi)難救援：在災(zāi)難現(xiàn)場(chǎng)執(zhí)行搜索和救援任務(wù)，尤其是在人類(lèi)難以到達(dá)或者危險(xiǎn)的環(huán)境中。