一句指令自動玩手機，網上沖浪神器Mobile-Agent來了

AIGC動態歡迎閱讀

原標題：一句指令自動玩手機，網上沖浪神器Mobile-Agent來了
關鍵字：操作,指令,任務,圖標,截圖
文章來源：機器之心
內容字數：6094字

內容摘要：

機器之心專欄
機器之心編輯部一直以來，讓 AI 成為手機操作助手都是一項頗具挑戰性的任務。在該場景下，AI 需要根據用戶的要求自動操作手機，逐步完成任務。
隨著多模態大語言模型（Multimodal Large Language Model，MLLM）的快速發展，以 MLLM 為基礎的多模態 agent 逐漸應用于各種實際應用場景中，這使得借助多模態 agent 實現手機操作助手成為了可能。
本文將介紹一篇最新的利用多模態 agent 實現 AI 操作手機的研究《Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception》。論文地址：https://arxiv.org/abs/2401.16158v1
項目地址：https://github.com/X-PLUG/MobileAgent
能力展示
首先為大家介紹 Mobile-Agent 可以自動做哪些有趣的任務。
下面是一個在 YouTube 里找相關視頻并發表評論的例子，用戶的要求是在 YouTube 里搜索視頻，找到一個和某個明星相

原文鏈接：一句指令自動玩手機，網上沖浪神器Mobile-Agent來了

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺