能跨App比價的手機AI助手，UIUC阿里開源可自我進化多能體框架，超越SOTA性能33.9%

層次化多智能體框架，有長期記憶模塊，可自我進化

原標題：能跨App比價的手機AI助手，UIUC阿里開源可自我進化多能體框架，超越SOTA性能33.9%
文章來源：量子位
內容字數：6050字

Mobile-Agent-E：一款自我進化的智能手機助手

1. **引言:** 現代人每天花費大量時間在手機上，人們需要一個更智能的助手來處理復雜任務。現有的手機助手功能有限，難以應對多步驟、跨應用的操作。UIUC和阿里通義實驗室聯合推出的Mobile-Agent-E框架，旨在解決這一問題，它能夠執行復雜推理、多步規劃以及跨應用操作，并具備自我進化能力。

2. 多層級多智能體架構

2.1 **核心思想:** Mobile-Agent-E采用層次化的多智能體架構，將高層規劃與低層動作執行區分開來，提升了長期規劃和錯誤恢復能力。它由一個“經理”和四個“助手”組成。

2.2 **智能體組成:**

• 管理者(Manager): 基于大型多模態模型(LMM)，負責高層規劃和錯誤處理。
• 感知者(Perceptor): 基于視覺的感知模塊，負責識別文本和圖標信息。
• 操作員(Operator): 基于LMM，負責執行具體操作，并參考長期記憶中的提示(Tips)。
• 動作反思者(Action Reflector): 基于LMM，驗證動作結果，并提供反饋。
• 記錄員(Notetaker): 記錄重要信息，例如商品價格等。

2.3 **工作流程:** 管理者制定計劃，操作員執行，反思者驗證結果，記錄員記錄信息。錯誤發生時，操作員先嘗試解決，解決不了則上報給管理者。

3. 自我進化模塊

3.1 **核心機制:** Mobile-Agent-E引入了自我進化模塊，通過學習經驗來提升效率。它定義了兩種知識類型：提示(Tips)和捷徑(Shortcuts)。

3.2 **Tips和Shortcuts:** Tips是關于有效交互的一般指導，類似情景記憶；Shortcuts是可復用的技能，類似程序性知識。它們存儲在長期記憶模塊中，并根據任務完成情況不斷更新。

3.3 **經驗反思者:** 兩個經驗反思者根據任務記錄和錯誤日志優化Tips和Shortcuts。

3.4 **經驗檢索代理:** 為了應對長期記憶中信息過載的問題，引入了經驗檢索代理，只提取與新任務相關的Tips和Shortcuts。

4. 全新基準測試與實驗結果

4.1 **Mobile-Eval-E Benchmark:** 研究團隊設計了新的基準測試數據集Mobile-Eval-E，它比現有數據集更復雜，包含更多步驟和跨應用交互。

4.2 **滿意度得分(Satisfaction Score):** 采用新的評估指標——滿意度得分，更符合人類偏好，考慮了關鍵步驟和探索。

4.3 **實驗結果:** Mobile-Agent-E在多個基礎模型上超越了現有SOTA，啟用自我進化模塊后性能進一步提升，滿意度得分提升了33.9%。

5. 結論

Mobile-Agent-E通過多層級多智能體架構和自我進化模塊，實現了更強大的手機智能體。其在復雜任務上的出色表現，以及自我學習能力，為未來構建更智能的手機助手提供了新的方向。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破