鵝廠新智能體亮相！操縱手機水平媲美真人，GitHub一周獲1.5K星

AIGC動態(tài)歡迎閱讀

原標題：鵝廠新智能體亮相！操縱手機水平媲美真人，GitHub一周獲1.5K星
關(guān)鍵字：騰訊,操作,界面,人類,模型
文章來源：量子位
內(nèi)容字數(shù)：2333字

內(nèi)容摘要：

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI一不留神，大模型已經(jīng)學會了操縱手機？
最近，騰訊最新多模態(tài)智能體框架AppAgent曝光，可以像人類一樣操作各種應用。
比如在地圖軟件中輸入目標地址，然后喚起導航。
或者想要發(fā)一封郵件，AppAgent也能輕松編寫，然后直接在客戶端中發(fā)送。
就算是“”的驗證碼，也絲毫難不住AppAgent。
甚至是用Lightroom這樣人類都不一定會的專業(yè)軟件P圖，也能三下五除二地完成。
而且它還可以觀察人類操作，甚至是自主探索，不用教就能學會新的APP。
目前，該項目在GitHub上已經(jīng)取得了1.5k星標。
操縱水平超越GPT4為了更具體地評估AppAgent的表現(xiàn)，研究團隊一共在10個不同的應用程序上測試了50個任務(wù)，其中還包括沒有學習過的新APP或操作，結(jié)果它都能出色完成。
除了P圖的效果由人工評判，AppAgent在其它九個APP上的表現(xiàn)，分別用成功率（SR）、獎勵分數(shù)和平均步數(shù)來衡量。
在自動探索模式下時，AppAgent完成這些任務(wù)的成功率達到了73.3%，學習過DEMO之后可以提升到84.4%。
雖然離人類手工指導的95.6%還

原文鏈接：鵝廠新智能體亮相！操縱手機水平媲美真人，GitHub一周獲1.5K星

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破