軌跡跟蹤誤差直降50％，清華汪玉團(tuán)隊(duì)強(qiáng)化學(xué)習(xí)策略秘籍搞定無(wú)人機(jī)

讓無(wú)人機(jī)飛得更加平穩(wěn)！

原標(biāo)題：軌跡跟蹤誤差直降50％，清華汪玉團(tuán)隊(duì)強(qiáng)化學(xué)習(xí)策略秘籍搞定無(wú)人機(jī)
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：6530字

清華大學(xué)團(tuán)隊(duì)SimpleFlight：解決強(qiáng)化學(xué)習(xí)無(wú)人機(jī)控制Sim2Real難題

機(jī)器之心AIxiv專(zhuān)欄報(bào)道了清華大學(xué)高能效計(jì)算實(shí)驗(yàn)室的一項(xiàng)突破性研究成果：SimpleFlight框架。該框架解決了強(qiáng)化學(xué)習(xí)（RL）策略在無(wú)人機(jī)控制中難以從仿真環(huán)境零樣本泛化到真實(shí)世界的難題，在軌跡跟蹤誤差上比現(xiàn)有RL基線方法降低了50%以上。

1. 背景與挑戰(zhàn)

傳統(tǒng)的無(wú)人機(jī)控制方法（如PID控制器和MPC）在靈活性方面存在局限。強(qiáng)化學(xué)習(xí)因其直接將觀測(cè)映射為動(dòng)作的能力，展現(xiàn)出巨大的潛力，但“Sim2Real”鴻溝一直是其應(yīng)用的瓶頸。如何訓(xùn)練出無(wú)需額外微調(diào)即可在真實(shí)環(huán)境中部署的魯棒RL策略，是研究者們面臨的挑戰(zhàn)。

2. SimpleFlight框架

清華大學(xué)團(tuán)隊(duì)提出的SimpleFlight框架，集成五大技術(shù)，基于PPO算法，有效解決了上述難題。該框架在開(kāi)源微型四旋翼無(wú)人機(jī)Crazyflie 2.1和團(tuán)隊(duì)自制的250mm軸距四旋翼無(wú)人機(jī)上進(jìn)行了測(cè)試，取得了顯著成果。

3. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)使用了平滑軌跡（八字形、隨機(jī)多項(xiàng)式）和不可行軌跡（五角星、隨機(jī)之字形）兩種類(lèi)型的基準(zhǔn)軌跡。SimpleFlight在所有基準(zhǔn)軌跡上均取得最佳性能，成功率100%，軌跡跟蹤誤差降低了50%以上，并且無(wú)需任何微調(diào)。

4. SimpleFlight的五大核心技術(shù)

SimpleFlight的成功歸功于以下五大關(guān)鍵因素：

1. 輸入空間設(shè)計(jì)：采用相對(duì)位姿誤差、速度和旋轉(zhuǎn)矩陣作為策略網(wǎng)絡(luò)輸入，并使用旋轉(zhuǎn)矩陣而非四元數(shù)。
2. 獎(jiǎng)勵(lì)設(shè)計(jì)：將時(shí)間向量添加到價(jià)值網(wǎng)絡(luò)輸入，并使用連續(xù)動(dòng)作差異的正則化作為平滑度獎(jiǎng)勵(lì)。
3. 訓(xùn)練技術(shù)：使用系統(tǒng)辨識(shí)校準(zhǔn)關(guān)鍵動(dòng)力學(xué)參數(shù)，謹(jǐn)慎選擇性地應(yīng)用域隨機(jī)化，并使用較大的batch size。
4. 高效仿真平臺(tái)：基于NVIDIA Isaac Sim搭建的OmniDrones仿真平臺(tái)，可實(shí)現(xiàn)每秒超過(guò)10^5步的仿真速度。
5. CTBR指令：使用collective thrust and body rates (CTBR)作為策略輸出動(dòng)作。

5. 結(jié)論與意義

SimpleFlight并非依賴(lài)于新的算法或復(fù)雜的架構(gòu)，其意義在于提供了一套關(guān)鍵訓(xùn)練因素的集合，可輕松集成到現(xiàn)有的四旋翼無(wú)人機(jī)控制方法中，幫助研究者和開(kāi)發(fā)者進(jìn)一步優(yōu)化控制性能。該研究為強(qiáng)化學(xué)習(xí)在無(wú)人機(jī)控制領(lǐng)域的實(shí)際應(yīng)用提供了重要的參考。

論文鏈接：https://arxiv.org/abs/2412.11764

開(kāi)源代碼及模型項(xiàng)目網(wǎng)站：https://sites.google.com/view/simpleflight

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)