PC Agent

PC Agent – 上海交大聯合 GAIR 推出的電腦智能體AI系統

PC Agent是什么

PC Agent是由上海交通大學與Generative AI Research Lab (GAIR)共同開發的一款前沿人工智能系統。該系統模擬人類的認知過程，能夠高效地執行組織研究資料、撰寫報告和制作演示文稿等復雜的數字任務。PC Agent整合了PC Tracker，能夠高效地收集人機交互數據，并通過兩階段認知流程將原始數據轉化為具有認知價值的軌跡。其多智能體系統架構結合了規劃智能體與定位智能體，實現了精準的視覺定位與決策制定。在有限的高質量認知數據訓練下，PC Agent能夠處理多達50步的復雜工作流程，展現出卓越的數據利用效率和實際應用潛力。

PC Agent

PC Agent的主要功能

任務自動化：自動執行復雜的數字化任務，諸如組織研究材料、撰寫報告及制作演示文稿。
人機交互數據收集：通過PC Tracker收集用戶與計算機的交互軌跡和認知上下文信息。
認知軌跡轉化：利用兩階段認知流程將原始交互數據轉換為富含認知信息的軌跡。
復雜工作處理：能夠處理涉及多個應用程序的復雜工作流程，例如在PowerPoint與瀏覽器之間切換以收集信息。
多智能體協作：結合規劃智能體與定位智能體，確保決策的有效性與視覺定位的準確性。
少量數據訓練：僅依賴少量的認知軌跡數據，便能執行復雜的工作流程。

PC Agent的技術原理

PC Tracker：
- 數據收集：在后臺默默運行，記錄用戶的鍵盤與鼠標活動，捕捉屏幕截圖，從而收集人機交互的數據。
- 跟蹤：采用基于的跟蹤策略，記錄關鍵用戶操作，以減少存儲需求而非持續的視頻流。
- 動作空間統一：將鍵盤和鼠標操作整合為統一的動作空間，從而簡化AI對人類行為的理解。
認知完成流程：
- 數據精煉：通過軌跡過濾、動作過濾與標準化，提升原始交互數據的質量。
- 動作語義完成：為點擊相關動作補充語義信息，以生成高質量的點擊目標描述。
- 思維過程重建：基于動作語義信息，重建每個動作背后的隱含推理過程。
多智能體系統：
- 規劃智能體：負責制定行動決策，基于學習人類認知軌跡以獲得有效的規劃能力。
- 定位智能體：負責執行點擊相關的動作，并具備自我驗證機制，以實現接近人類的精準度。
- 錯誤修正機制：當定位智能體發現規劃智能體試圖點擊的目標在屏幕上不存在時，會提示規劃智能體重新制定行動計劃。