哈工大聯合鵬城實驗室推出的智能體框架

產品名稱：Optimus-1
產品簡介：Optimus-1是哈爾濱工業大學（深圳）和鵬城實驗室推出的智能體框架，能解決在開放世界環境中完成長期任務的挑戰?？蚣芙Y合結構化知識和多模態經驗，讓智能體更好地執行復雜任務。
詳細介紹：

Optimus-1是什么

Optimus-1是哈爾濱工業大學（深圳）和鵬城實驗室推出的智能體框架，能解決在開放世界環境中完成長期任務的挑戰。框架結合結構化知識和多模態經驗，讓智能體更好地執行復雜任務。Optimus-1包含混合多模態記憶模塊，由分層有向知識圖（HDKG）和抽象多模態經驗池（AMEP）組成，知識引導規劃器和經驗驅動反射器，顯著提升在Minecraft等環境中的長期任務性能，接近人類水平。

Optimus-1的主要功能

• 知識引導規劃（Knowledge-Guided Planner）：基于結構化知識（HDKG）生成可執行的子目標序列，規劃和執行長期任務。
• 經驗驅動反思（Experience-Driven Reflector）：基于歷史經驗（AMEP）評估當前任務狀態，在必要時調整行動計劃。
• 行動控制（Action Controller）：執行由規劃器產生的子目標，與環境互動以完成任務。
• 混合多模態記憶（Hybrid Multimodal Memory）：結合HDKG和AMEP，存儲和利用世界知識和歷史經驗，支持復雜決策和適應性學習。
• 自我進化（Self-Evolution）：基于“探索-教師指導”方法，無需參數更新能逐步提升記憶容量和任務執行能力。

Optimus-1的技術原理

• 分層有向知識圖（HDKG）：
  • 將世界知識（如物品合成規則）轉化為圖結構，節點代表對象，邊代表對象間的關系（如合成關系）。
  • 基于圖檢索和拓撲排序，為智能體提供完成任務所需的材料和工具的知識。
• 抽象多模態經驗池（AMEP）：
  • 動態總結和存儲任務執行過程中的多模態信息（如環境、狀態、計劃、視覺幀等）。
  • 用MineCLIP模型計算視覺和子目標的相似性，存儲相關性強的視覺記憶，為反思提供參考。
• 知識引導規劃器：結合視覺觀察和HDKG中的知識，生成合理的子目標序列，指導行動控制器的行動。
• 經驗驅動反思器：定期激活，從AMEP中檢索與當前子目標相關的多模態經驗，評估當前任務狀態，決定是繼續執行、完成還是需要重新規劃。
• 行動控制器：根據子目標和當前觀察，生成與環境互動所需的低級行動，如鼠標和鍵盤操作。

Optimus-1的項目地址

• 項目官網：cybertronagent.github.io/Optimus-1
• GitHub倉庫：https://github.com/JiuTian-VL/Optimus-1
• arXiv技術論文：https://arxiv.org/pdf/2408.03615

Optimus-1的應用場景

• 游戲環境自動化：在復雜的游戲環境中，如Minecraft，Optimus-1自動化執行資源收集、建筑建造和探索等任務，提供沉浸式游戲體驗。
• 虛擬個人助理：在虛擬現實或增強現實應用中，可以作為用戶的個人助理，幫助管理日程、提供信息查詢服務，和自動化處理日常任務。
• 家庭機器人助手：在智能家居系統中，指導家庭服務機器人執行清潔、安全監控和日常維護等長期任務，提高家居自動化水平。
• 工業自動化與優化：在工業制造領域，優化生產流程，指導機器人自動完成復雜的裝配線任務，提高生產效率和安全性。
• 模擬訓練與教育：在軍事訓練或醫療教育中，創建復雜的模擬環境，幫助學員模擬實踐學習決策和操作技能。