田淵棟團隊新作祭出Agent-as-a-Judge！AI智能體自我審判，成本暴跌97%

AIGC動態歡迎閱讀

原標題：田淵棟團隊新作祭出Agent-as-a-Judge！AI智能體自我審判，成本暴跌97%
關鍵字：智能,任務,人類,模塊,體系
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：桃子
【新智元導讀】AI評估AI可靠嗎？來自Meta、KAUST團隊的最新研究中，提出了Agent-as-a-Judge框架，證實了智能體系統能夠以類人的方式評估。它不僅減少97%成本和時間，還提供豐富的中間反饋。AI智能體，能否像人類一樣有效地評估其他AI智能體？
對于AI智能體來說，評估決策路徑一直是棘手的問題。
已有的評估方法，要么只關注結果，要么要要過多的人工完成。
為了解決這一問題，田淵棟、Jürgen Schmidhuber帶領的團隊提出了「Agent-as-a-Judge」框架。
簡言之，讓智能體來評估智能體系統，讓AI審AI。
它不僅可以減少97%的成本和時間，還能提供豐富的中間反饋。
這是「LLM-as-a-Judge」框架的有機延伸，通過融入智能體特性，能夠為整個任務解決過程提供中間反饋。
論文地址：https://arxiv.org/abs/2410.10934v1
研究人員提出了DevAI基準，為全新框架提供概念驗證測試平臺。包含55個真實的AI開發任務，帶有詳細的手動注釋。
通過對三個領先的智能體系統進行基準測試，發現它大大優于「LLM-as

原文鏈接：田淵棟團隊新作祭出Agent-as-a-Judge！AI智能體自我審判，成本暴跌97%

聯系作者

文章來源：新智元
作者微信：
作者簡介：