Magentic-UI – 微軟開源的人機協(xié)作Web?Agent

XX是什么

XX 是微軟推出的一個開源研究原型，旨在探索人類與AI代理系統(tǒng)的協(xié)作方式。作為一款以人為中心的Web代理，XX能夠與用戶共同完成復(fù)雜的Web任務(wù)，如網(wǎng)頁瀏覽、代碼執(zhí)行和文件處理。其核心特點包括協(xié)作規(guī)劃、協(xié)作執(zhí)行、安全機制以及通過經(jīng)驗學(xué)習(xí)提升效率。XX設(shè)計的初衷是讓用戶在任務(wù)的規(guī)劃與執(zhí)行過程中實時參與，從而提供透明且可控的交互體驗。通過用戶的反饋，XX能夠提高任務(wù)完成的效率，降低人工成本，成為研究人機協(xié)作的重要實驗平臺。

XX的主要功能

• 協(xié)作規(guī)劃：在執(zhí)行任務(wù)之前，生成分步計劃，用戶可以進行修改和確認，以確保任務(wù)的順利進行。
• 協(xié)作執(zhí)行：實時展示即將執(zhí)行的操作，用戶可以隨時接管任務(wù)控制，確保任務(wù)執(zhí)行符合其需求。
• 安全機制：在進行重要或不可逆操作前，系統(tǒng)會征求用戶的批準(zhǔn)，并允許用戶自定義審批策略，確保操作的安全性。
• 學(xué)習(xí)復(fù)用：完成任務(wù)后，系統(tǒng)會保存執(zhí)行計劃，用戶可以在未來的任務(wù)中復(fù)用或調(diào)整這些計劃，以提升效率。

XX的技術(shù)原理

• 系統(tǒng)架構(gòu)：XX基于AutoGen的Magentic-One系統(tǒng)，由多個專業(yè)代理組成，協(xié)同工作以完成任務(wù)。協(xié)調(diào)者（Orchestrator）由大型語言模型驅(qū)動，負責(zé)與用戶進行協(xié)作規(guī)劃，決定何時需要用戶反饋，并將子任務(wù)分配給其他代理執(zhí)行。網(wǎng)頁瀏覽代理（WebSurfer）具備瀏覽器控制能力，能夠執(zhí)行點擊、輸入和滾動等操作，完成分配的網(wǎng)頁任務(wù)。代碼執(zhí)行代理（Coder）配備Docker代碼執(zhí)行容器，將結(jié)果反饋給協(xié)調(diào)者。文件處理代理（FileSurfer）利用Docker容器和文件轉(zhuǎn)換工具，能夠定位文件、轉(zhuǎn)換文件格式，并回答有關(guān)文件的問題。
• 交互流程：用戶通過輸入文本消息和附加圖像與XX進行交互。協(xié)調(diào)者根據(jù)用戶輸入生成自然語言的分步計劃，用戶可以在計劃上進行編輯。協(xié)調(diào)者會根據(jù)每個步驟決定由哪個代理或用戶執(zhí)行，并發(fā)送請求等待響應(yīng)。所有步驟完成后，協(xié)調(diào)者會生成最終答案展示給用戶。如果在執(zhí)行過程中發(fā)現(xiàn)計劃不足，協(xié)調(diào)者會在獲得用戶許可后重新規(guī)劃新的執(zhí)行計劃。
• 安全與控制：用戶可以設(shè)置XX可以訪問的網(wǎng)站列表，訪問列表外的網(wǎng)站需獲得用戶明確批準(zhǔn)。用戶可以在XX執(zhí)行任務(wù)的任意階段中斷任務(wù)，停止任何待執(zhí)行的操作。XX控制的瀏覽器和代碼執(zhí)行器都在Docker容器中運行，以避免對主機環(huán)境造成影響，防止登錄憑證泄露等安全風(fēng)險。用戶還可以配置行動審批策略，決定在執(zhí)行某些操作時是否需要用戶批準(zhǔn)。

XX的項目地址

• 項目官網(wǎng)：https://www.microsoft.com/en-us/research/blog/magentic-ui
• GitHub倉庫：https://github.com/microsoft/magentic-ui

XX的應(yīng)用場景

• 復(fù)雜任務(wù)的自動化：幫助用戶完成多步驟的Web任務(wù)，如比較產(chǎn)品價格、填寫在線表單或進行旅行預(yù)訂。
• 代碼編寫與執(zhí)行輔助：生成代碼片段，安全地執(zhí)行代碼，如用于數(shù)據(jù)分析或腳本編寫。
• 文件處理與信息檢索：轉(zhuǎn)換文件格式、搜索文件內(nèi)容并回答相關(guān)問題。
• 研究與開發(fā)：為研究人員提供實驗平臺，探索人機協(xié)作的新方式。
• 教育與培訓(xùn)：作為教學(xué)工具，幫助學(xué)習(xí)任務(wù)規(guī)劃和AI協(xié)作的相關(guān)知識。

常見問題

• XX適合哪些用戶使用？：XX適合任何希望提高Web任務(wù)效率的用戶，尤其是需要處理復(fù)雜任務(wù)的研究人員和開發(fā)者。
• 如何開始使用XX？：用戶可以訪問項目官網(wǎng)或GitHub倉庫下載并安裝XX，按照說明進行設(shè)置。
• XX是否安全？：XX設(shè)計了多重安全機制，確保用戶的操作安全，用戶可以自定義訪問網(wǎng)站和審批策略。
• XX支持哪些功能？：XX支持協(xié)作規(guī)劃、協(xié)作執(zhí)行、安全機制和學(xué)習(xí)復(fù)用等多種功能，幫助用戶完成復(fù)雜的Web任務(wù)。