Seer – 上海 AI Lab 聯合北大等機構推出的端到端操作模型

Seer是一款由上海AI實驗室、北京大學計算機科學與技術學院及北京大學軟件與微電子學院等機構聯合研發的先進端到端操作模型。它實現了機器人視覺預測與動作執行之間的高效協作。該模型融合歷史信息和目標信號（如語言指令），能夠預測未來狀態，并利用逆動力學模型生成相應的動作信號。Seer采用Transformer架構，能夠處理多模態輸入數據，充分整合視覺、語言和機器人本體信號。在真實機器人任務中，Seer的操作成功率比當前最先進的模型提升了43%，并在多種復雜場景下展現出卓越的泛化能力。

Seer是什么

Seer是一種端到端的操作模型，旨在實現機器人的視覺預測與動作執行之間的緊密協作。其核心在于結合歷史信息和目標信號（如語言指令），預測未來時刻的狀態，并通過逆動力學模型生成相應的動作信號。基于Transformer的結構，Seer能夠有效處理多模態輸入數據，充分融合視覺、語言及機器人狀態信息。在機器人任務中，Seer的操作成功率比現有最先進模型提高了43%，并在多種復雜場景下展現出極佳的泛化能力。在控制算法測試基準CALVIN ABC-D Benchmark中，Seer的平均任務完成長度達到4.28，綜合領先同類模型。

Seer的主要功能

• 動作預測：根據當前的視覺狀態及目標，預測適合的機器人動作，利用逆動力學模型推導出達成目標所需的中間動作序列。
• 視覺預測：Seer擁有條件視覺預測功能，可以預測未來一段時間內的RGB圖像，使機器人能夠“預見”未來的視覺狀態，進而更好地規劃和調整動作。
• 多模態融合：整合視覺、語言及機器人狀態等多種模態的信息，從而實現對復雜任務的深入理解與執行。通過多模態編碼器，將不同模態的特征進行有效整合，為動作預測和視覺預測提供全面的上下文信息。
• 泛化能力：Seer在大規模機器人數據集上進行預訓練，顯示出強大的泛化能力，在未見場景、新物體、不同光照條件以及高強度干擾下，依舊能夠保持穩定的性能。
• 數據效率：Seer通過在預訓練階段學習到豐富的先驗知識，在下游任務中僅需少量微調數據即可實現優秀性能，從而降低數據采集和標注的成本。

Seer的技術原理

• 端到端架構：Seer采用端到端的架構設計，將視覺預測與逆動力學預測緊密結合。在訓練過程中，視覺預測模塊與逆動力學模塊協同優化，使模型能夠充分利用視覺和動作信息，從而提高動作預測的準確性。
• Transformer架構：利用Transformer架構處理視覺狀態和動作信息，能夠捕捉視覺和動作序列中的復雜依賴關系，為模型提供強大的特征提取與表示能力。
• 先見令牌與動作令牌：Seer引入先見令牌（foresight token）和動作令牌（action token）。先見令牌用于預測未來的RGB圖像，動作令牌則用于估計當前與預測未來觀察之間的中間動作。兩個令牌通過多模態編碼器與輸入的RGB圖像、機器人狀態和語言令牌進行融合，利用單向注意力掩碼實現深度信息整合。
• 單向注意力掩碼：Seer設計了特殊的單向注意力掩碼，使動作令牌能夠充分整合過去和未來的預測信息，從而提高動作預測的準確性和魯棒性。
• 大規模預訓練與微調：Seer首先在大規模機器人數據集（如DROID）上進行預訓練，獲取豐富的視覺與動作先驗知識。在下游任務中，通過少量的微調數據對模型進行調整，以適應具體任務場景和目標。

Seer的項目地址

• 項目官網：https://nimolty.github.io/Seer
• GitHub倉庫：https://github.com/OpenRobotLab/Seer
• arXiv技術論文：https://arxiv.org/pdf/2412.15109

Seer的應用場景

• 工業自動化：指導機器人精準安裝汽車部件，從而提升裝配效率與質量。
• 服務機器人：協助服務機器人根據需求將物品準確送達客房，提高客戶體驗。
• 醫療健康：作為虛擬手術機器人的核心，輔助醫學生學習與練習手術技能。
• 物流與倉儲：自動化分揀系統快速而準確地將包裹分揀到指定通道，提高分揀效率。
• 教育行業：作為教學案例，幫助學生深入理解機器人編程的高級技術與算法。