MobA（Mobile Agent）是由上海交通大學團隊研發的新型移動智能體，旨在通過多模態大型語言模型（MLLMs）提升移動設備的自動化任務處理能力。該系統采用獨特的雙層架構設計，分為高級全局智能體（GA）和低級局部智能體（LA），前者負責解析用戶指令、管理歷史記錄及規劃任務，后者則根據GA的指導執行具體操作。MobA內建的反思模塊使其能夠高效應對復雜任務，包括之前未曾遇到的情境。

MobA是什么

MobA（Mobile Agent）是一款新興的移動智能體，由上海交通大學的團隊開發，旨在借助多模態大型語言模型（MLLMs）增強移動設備的自動化任務執行能力。MobA具備雙層架構：高級全局智能體（GA）負責用戶指令的理解、歷史記錄的管理和任務的規劃；而低級局部智能體（LA）則依據GA的規劃來執行具體的操作。MobA內置的反思模塊使其能夠有效處理復雜任務，包括以前未曾遇到的情況。

MobA的主要功能

• 自然語言理解：精準理解用戶的自然語言指令，并將其轉化為可執行的任務。
• 任務規劃與分解：GA負責將復雜的任務分解為更小且易于管理的子任務。
• 動作執行：LA根據GA的指令，執行具體的子任務和操作。
• 歷史記憶管理：GA能夠跟蹤歷史記憶，在規劃新任務時考慮過去的經驗和信息。
• 反思與自我優化：集成的反思模塊支持MobA在任務執行后進行自我評估，以優化未來的執行效率。
• 跨應用操作：能夠處理涉及多個應用程序的復雜任務，實現跨應用的自動化執行。

MobA的技術原理

• 多模態大型語言模型（MLLMs）：基于MLLMs，MobA能夠處理和理解多種類型的數據，包括文本、圖像等。
• 兩級智能體架構：系統由GA和LA兩個部分組成，分別負責任務的規劃和具體的動作執行。
• 任務規劃模塊：GA中的規劃模塊負責將用戶的指令分解為一系列子任務，并評估其可行性。
• 動作模塊：LA的動作模塊負責識別任務是否可以一步完成，并提供相應的執行指令。
• 記憶模塊：系統配備記憶模塊，用于存儲和更新任務執行的記錄、用戶偏好及應用信息。

MobA的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2410.13757

MobA的應用場景

• 個人助理：在日常生活中，作為個人助理，幫助用戶管理日程、設置提醒、查詢信息等。
• 智能家居控制：與智能家居設備集成，基于語音或文本指令控制家中設備，如燈光、溫度調節、安全監控等。
• 移動設備自動化：在移動設備上，自動執行復雜的流程操作，如自動填寫表單、管理郵件、優化應用設置等。
• 老年人和殘疾人士輔助：為老年人和殘疾人士提供使用智能設備的輔助，提升生活質量。
• 教育和學習：在教育領域，幫助學生獲取信息、管理學習資料，甚至輔助完成作業。