Mobile-Agent

Mobile-Agent – 自主多模態移動設備代理，通過視覺感知實現智能化手機操作

Mobile-Agent是什么

Mobile-Agent 是一種具有高度靈活性的智能代理軟件實體，能夠在網絡的不同節點之間移動，代替用戶或其他代理執行任務。它可以根據實際情況中斷當前的操作，并迅速遷移到另一設備上繼續運行，以便及時返回結果。這種移動的目的在于將程序的執行盡量靠近數據源，從而降低網絡通信成本，節省帶寬，平衡負載，加速任務執行，并提升分布式系統的整體處理效率。

Mobile-Agent 在移動設備操作領域的應用快速發展。例如，阿里巴巴與北京交通大合推出的 Mobile-Agent-v2 通過多代理協作實現高效的導航功能。該系統基于多模態大語言模型（MLLM），能夠自主完成復雜的移動設備操作任務。Mobile-Agent-v2 包含規劃Agent、決策Agent和反思Agent三種專業角色，能夠根據歷史操作生成任務，并在操作過程中進行自我反思和調整。此外，Mobile-Agent 還支持純視覺解決方案，能夠通過分析圖像來理解和操作手機，而無需依賴系統的UI文件，從而使其適用于各種移動操作系統環境。

Mobile-Agent

Mobile-Agent的主要功能

操作定位：Mobile-Agent 能夠精準識別并點擊屏幕上的特定圖標和文本。通過使用檢測模型和視覺感知工具來確定操作位置，例如利用光學字符識別（OCR）工具定位文本，或通過圖標檢測工具來識別圖標。
自我規劃：根據用戶的指令和當前屏幕狀態，Mobile-Agent 可以自動規劃并執行一系列操作步驟，直至完成任務。它會通過迭代獲取屏幕截圖，結合操作歷史和系統提示來決定下一步的行動。
自我反思：在操作過程中，若出現錯誤或無效操作，Mobile-Agent 能夠及時察覺并采取糾正措施。例如，當操作完成后屏幕未發生變化或顯示錯誤頁面時，它會嘗試其他操作或調整參數。
多應用操作：Mobile-Agent 支持跨多個應用程序的自動化操作，使其能夠在不同應用之間靈活切換并協同完成任務。
純視覺解決方案：該系統不依賴于系統的XML文件或其他元數據，而是通過圖像分析理解和操作手機，因而其操作范圍不受限制。

Mobile-Agent的技術原理

多模態大語言模型：Mobile-Agent 結合了大規模語言模型（如 GPT-4V），用于理解和執行用戶的自然語言指令。模型通過分析屏幕截圖和用戶指令生成對應的操作步驟。
視覺感知技術
- 文本和圖標檢測：系統使用光學字符識別（OCR）工具來定位屏幕上的文本，同時通過圖標檢測工具和 CLIP 模型來準確識別圖標位置，使 Mobile-Agent 能夠精確識別和操作屏幕元素。
- 屏幕截圖分析：Mobile-Agent 通過分析當前屏幕截圖獲取所需的視覺信息，并結合操作歷史和用戶指令來決定下一步操作。
多智能體協作機制：該系統采用多智能體架構，包含多個專門的智能體，如視覺感知智能體、決策智能體、執行智能體和反思智能體。這些智能體各司其職，通過協作完成復雜的移動設備操作任務。
自主任務規劃和執行
- 自我規劃：Mobile-Agent 能夠根據用戶指令和當前屏幕狀態，自動規劃并執行一系列操作步驟。它通過迭代方式反復截取屏幕截圖，處理提示和操作歷史，從而生成下一步的操作。
- 自我反思：在操作過程中，若出現錯誤或無效操作，Mobile-Agent 能夠及時發現并采取補救措施，例如在操作后屏幕沒有變化或出現錯誤頁面時，它會嘗試其他措施或調整參數。
提示格式：Mobile-Agent 采用 ReAct 中的提示格式，要求代理輸出三個部分：觀察（Observation）、思考（Thought）和行動（Action），以幫助代理更好地理解和執行任務。