華為諾亞方舟實驗室與哈工大（深圳）聯合提出的手機操控智能體評估框架。

原標題：華為與哈工深等最新研究成果：SPA-Bench，手機操控智能體評估新標準
文章來源：AI科技評論
內容字數：9414字

手機操控智能體基準測試框架——SPA-Bench

隨著智能手機在日常生活中的普及，手機操控智能體的研究逐漸成為重要課題。然而，現有的評估框架存在多方面的局限性。為此，華為諾亞方舟實驗室與哈爾濱工業大學（深圳）聯合提出了新的評估框架——SPA-Bench（SmartPhone Agent Benchmark）。該框架旨在重新定義手機操控智能體的研究與評估標準。

1. 現有基準測試的局限性

現有測試框架的任務范圍有限，主要集中在簡單的系統應用操作，難以涵蓋多語言及動態界面環境中的復雜任務。此外，基準測試中涉及的智能體種類較少，且驗證機制依賴固定規則，缺乏靈活性。這些問題導致評估的全面性和準確性受到影響。

2. SPA-Bench的核心設計

SPA-Bench通過以下三個方面解決了現有基準測試的痛點：

• 任務設計：涵蓋340個真實場景任務，包括單應用和跨應用任務，難度分為，確保評估的性和全面性。
• 智能體框架：支持多種智能體的集成與橫向對比，研究者可快速測試新模型，提高研究效率。
• 自動化流程：提供全面自動化的驗證流程，結合多維度指標高效評估智能體表現。

3. 實驗結果與分析

實驗表明，不同智能體在任務成功率上存在顯著差異。M3A表現最佳，單應用任務成功率高于跨應用任務。中文任務的成功率普遍低于英文任務，反映出多模態大模型在處理復雜中文界面時的局限性。此外，任務完成效率與資源消耗的權衡也是智能體性能的重要考量。

4. 未來研究方向

未來的研究可以集中在增強視覺感知能力、豐富數據集多樣性、改進記憶保留機制、強化錯誤處理機制、優化任務終止判斷及提升執行效率等方面。這些方向將有助于提升手機操控智能體的性能和實用性。

5. 總結

SPA-Bench的提出為手機操控智能體的研究提供了強有力的工具，填補了現有基準測試的空白。通過全面的任務設計和高效的驗證流程，SPA-Bench將推動手機智能體技術的進一步發展與應用。

聯系作者

文章來源：AI科技評論
作者微信：
作者簡介：雷峰網旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。