AIGC動態歡迎閱讀

原標題：Windows、Office直接上手，大模型智能體操作電腦太6了
關鍵字：模型,任務,能力,動作,用戶
文章來源：機器之心
內容字數：6098字

內容摘要：

機器之心報道
機器之心編輯部當我們談到 AI 助手的未來，很難不想起《鋼鐵俠》系列中那個令人炫目的 AI 助手賈維斯。賈維斯不僅是托尼?斯塔克的得力助手，更是他與先進科技的溝通者。如今，大模型的出現顛覆了人類使用工具的方式，我們或許離這樣的科幻場景又近了一步。想象一下，如果一個多模態 Agent，能夠直接像人類一樣通過鍵盤和鼠標直接操控我們身邊的電腦，這將是多么令人振奮的突破。AI助手賈維斯
近期，吉林大學人工智能學院發布了一項利用視覺大語言模型直接控制電腦 GUI 的最新研究《ScreenAgent: A Vision Language Model-driven Computer Control Agent》，它將這一想象映了現實。該工作提出了 ScreenAgent 模型，首次探索在無需輔助定位標簽的情況下，利用 VLM Agent 直接控制電腦鼠標和鍵盤，實現大模型直接操作電腦的目標。此外，ScreenAgent 通過「計劃-執行-反思」的自動化流程首次實現對 GUI 界面的連續控制。該工作是對人機交互方式的一次探索和革新，同時開源了具備精準定位信息的數據集、控制器、訓練代碼

原文鏈接：Windows、Office直接上手，大模型智能體操作電腦太6了

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺