阿里全新Agent玩轉(zhuǎn)手機:刷短視頻自主點贊評論,還學會了跨應(yīng)用操作

AIGC動態(tài)歡迎閱讀
原標題:阿里全新Agent玩轉(zhuǎn)手機:刷短視頻自主點贊評論,還學會了跨應(yīng)用操作
關(guān)鍵字:報告,操作,任務(wù),指令,模型
文章來源:量子位
內(nèi)容字數(shù):2920字
內(nèi)容摘要:
克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI會操縱手機的智能體,又迎來了全新升級!
新的Agent打破了APP的界限,能夠跨應(yīng)用完成任務(wù),成為了真·超級手機助手。
比如根據(jù)指示,它可以自行搜索籃球比賽的結(jié)果,然后根據(jù)賽況在備忘錄中撰寫文稿。
來自阿里的一篇最新論文,展示了全新手機操縱智能體框架Mobile-Agent,可以玩轉(zhuǎn)10款應(yīng)用,還能跨越APP完成用戶交給的任務(wù),而且即插即用無需訓(xùn)練。
依托多模態(tài)大模型,整個操縱過程完全基于視覺能力實現(xiàn),不再需要給APP編寫XML操作文檔。
在Mobile-Agent還只有演示視頻的時候,就已經(jīng)讓一眾網(wǎng)友為之驚艷:
和樹莓派結(jié)合到一起,將完爆Rabbit R1(一款大模型硬件)。
想象一下如果它支持語音操縱,并且學會了說話……
那么,Mobile-Agent操縱手機到底有多6呢?
支持跨應(yīng)用任務(wù)目前,Mobile-Agent已經(jīng)學會了十個APP的操作,以及一些跨應(yīng)用任務(wù)。
比如搜索導(dǎo)航路線、幫忙在購物網(wǎng)站下單,它總能精準找到搜索框并完成目標。
也可以“刷”視頻,然后點贊評論,看上去就像熟練的老手。
甚至是安裝應(yīng)用、修改系統(tǒng)設(shè)置,也難不倒
原文鏈接:阿里全新Agent玩轉(zhuǎn)手機:刷短視頻自主點贊評論,還學會了跨應(yīng)用操作
聯(lián)系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關(guān)注科技行業(yè)新突破

粵公網(wǎng)安備 44011502001135號