首個WebAgent在線評測框架和流程數據管理平臺來了，GPT-4、Qwen登頂閉源和開源榜首！

AIGC動態歡迎閱讀

原標題：首個WebAgent在線評測框架和流程數據管理平臺來了，GPT-4、Qwen登頂閉源和開源榜首！
關鍵字：任務,節點,數據,關鍵,報告
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 潘奕琛、孔德涵、周思達、崔成
在當今科技迅速發展的時代，大型語言模型（Large Language Model，LLM）正以前所未有的速度改變著我們與數字世界的互動方式。基于LLM的智能代理（LLM Agent），從簡單的信息搜索到復雜的網頁操作，它們正在逐步融入我們的生活。然而，一個關鍵問題仍然懸而未決：當這些LLM Agent踏入真實的在線網絡世界時，它們的表現能否如預期般游刃有余？
現有的評測方法大多停留在靜態數據集或模擬網站的層面。這些方法有其價值，但局限性顯而易見：靜態數據集難以捕捉網頁環境的動態變化，如界面更新和內容迭代；而模擬網站則缺乏真實世界的復雜性，未能充分考慮跨站操作，例如使用搜索引擎等操作，這些因素在真實環境中是不可或缺的。
▲WebCanvas框架圖。左側展示的是任務的標注過程，右側展示的是任務的評估過程。WebCanvas考慮到了在線網絡交互中任務路徑的非唯一性，“獎杯”代表成功到達每個關鍵節點后獲得的步驟分數。為這一難題，跨越星空科技的iMean AI團隊和來自卡內基梅隆大學的合作者提出了一種創新的在線評測框架——WebCan

原文鏈接：首個WebAgent在線評測框架和流程數據管理平臺來了，GPT-4、Qwen登頂閉源和開源榜首！

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189