清華新VLA框架：突破具身智能實驗室瓶頸，LLM成本節省高達6倍！

代號DeeR-VLA，核心在于靈活的動態推理機制

原標題：清華新VLA框架加速具身智能止步實驗室“魔咒”，LLM開銷節省4-6倍 | NeurIPS'24
文章來源：量子位
內容字數：5195字

DeeR-VLA框架的創新與應用

清華大學研究團隊提出的DeeR-VLA框架為解決多模態模型在計算與存儲方面的挑戰提供了新思路。該框架的設計靈感源于人類的決策過程，能夠根據任務的復雜性動態調整模型的計算深度，從而顯著降低大語言模型（LLM）的計算成本和內存使用。

1. 動態推理機制

DeeR-VLA通過引入多出口架構和特征池化方法，實現了靈活的動態推理。模型在處理任務時，可以根據復雜度選擇性激活不同層級，避免不必要的計算浪費。實驗表明，DeeR-VLA在CALVIN機器人操作基準測試中，LLM的計算成本減少了5.2-6.5倍，GPU內存消耗降低了2-6倍，同時保持了任務執行的性能。

2. 解決冗余問題

研究發現，許多簡單的機器人任務實際上可以通過較小的模型完成，而使用大型多模態模型反而造成了計算資源的浪費。DeeR-VLA的設計實現了根據任務復雜性動態調整模型規模，使得在不影響性能的前提下最大化計算效率。

3. 關鍵技術組件

框架的關鍵技術組件包括多出口MLLM結構、特征池化方法和動作預測頭設計。通過這些技術，模型能夠在任務復雜度達到要求時提前停止計算，并生成高質量的特征和動作預測。這種設計使得DeeR-VLA能夠在多種硬件環境下靈活適應，滿足實時性需求。

4. 實驗與驗證

在CALVIN長Horizon多任務語言控制挑戰（LH-MTLC）基準上，DeeR-VLA展現出優異的性能。在與其他最新方法比較中，它在任務成功率上保持競爭力的同時，顯著減少了計算資源消耗。此外，DeeR-VLA的推理速度比RoboFlamingo++快68.1%，證明了其在實際應用中的高效性。

5. 結論與展望

DeeR-VLA框架的提出為多模態機器人的智能提升提供了新的方向，通過動態調整計算規模，研究團隊希望在未來的機器人應用中實現更高的效能與更低的資源消耗。兩位主要作者Yue Yang和王語霖在強化學習和多模態大模型領域的研究，將推動這一領域的進一步發展。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破