浙大&通義全面評(píng)測(cè)智能體復(fù)雜任務(wù)規(guī)劃能力，18主流大模型全不及格｜ICLR2025

智能體工作流生成基準(zhǔn)WorfBench

原標(biāo)題：浙大&通義全面評(píng)測(cè)智能體復(fù)雜任務(wù)規(guī)劃能力，18主流大模型全不及格｜ICLR2025
文章來源：量子位
內(nèi)容字?jǐn)?shù)：3421字

WorfBench：大模型智能體工作流評(píng)測(cè)基準(zhǔn)

隨著大模型智能體能力的快速發(fā)展，其不再局限于簡單的API調(diào)用，而是能夠像人類一樣與界面交互，執(zhí)行復(fù)雜操作。然而，評(píng)估這類智能體處理復(fù)雜任務(wù)的核心能力——工作流生成能力——的基準(zhǔn)卻十分缺乏。現(xiàn)有評(píng)估方法存在場(chǎng)景覆蓋范圍窄、工作流結(jié)構(gòu)復(fù)雜性不足以及評(píng)估標(biāo)準(zhǔn)不全面等問題。

為了解決這一問題，浙江大學(xué)通義團(tuán)隊(duì)聯(lián)合發(fā)布了WorfBench——一個(gè)涵蓋多場(chǎng)景和復(fù)雜圖結(jié)構(gòu)工作流的統(tǒng)一基準(zhǔn)，以及WorfEval——一套系統(tǒng)性評(píng)估協(xié)議。這項(xiàng)研究已被人工智能頂級(jí)會(huì)議ICLR 2025錄用。

1. WorfBench 的構(gòu)建與評(píng)估

WorfBench 利用GPT自動(dòng)化構(gòu)建多場(chǎng)景任務(wù)，包括問題求解、函數(shù)調(diào)用、具體規(guī)劃和開放式規(guī)劃等，生成了包含18k個(gè)訓(xùn)練樣本、2146個(gè)測(cè)試樣本和723個(gè)OOD（Out-of-Distribution，超出分布）樣本的評(píng)測(cè)數(shù)據(jù)集。WorfBench將工作流建模為有向無環(huán)圖（DAG），更精確地表示現(xiàn)實(shí)世界中的復(fù)雜串行或并行智能體工作流。為了確保數(shù)據(jù)質(zhì)量，研究人員引入了節(jié)點(diǎn)鏈作為中間結(jié)構(gòu)，并采用拓?fù)渑判蛩惴▽?duì)圖結(jié)構(gòu)進(jìn)行質(zhì)量過濾，并在測(cè)試集上進(jìn)行人工驗(yàn)證。

WorfEval則通過子序列和子圖匹配算法，分別從鏈結(jié)構(gòu)和圖結(jié)構(gòu)兩個(gè)維度對(duì)大模型生成的工作流進(jìn)行量化評(píng)估，從而精準(zhǔn)衡量模型的線性規(guī)劃和圖規(guī)劃能力。

2. 基準(zhǔn)評(píng)測(cè)結(jié)果

研究人員在WorfBench上對(duì)18種不同規(guī)模的主流大模型進(jìn)行了評(píng)估，包括閉源模型（如O1、GPT-4、Claude-3.5）和開源模型（如Llama系列、Qwen系列等）。結(jié)果顯示，模型在圖結(jié)構(gòu)工作流預(yù)測(cè)上的能力遠(yuǎn)未達(dá)到現(xiàn)實(shí)需求，即使是GPT-4，其圖結(jié)構(gòu)工作流的平均性能也僅為52.47%。即使在訓(xùn)練集上表現(xiàn)出色，模型在OOD任務(wù)上的泛化能力仍然有待提高，這表明僅通過數(shù)據(jù)擬合難以有效學(xué)習(xí)結(jié)構(gòu)化工作流規(guī)劃能力。

3. 工作流生成分析

研究人員發(fā)現(xiàn)大模型在工作流生成中存在顯著的線性規(guī)劃與圖規(guī)劃能力差距，且圖規(guī)劃能力與模型規(guī)模并非完全正相關(guān)。部分7B模型在某些任務(wù)上甚至超越了13B模型，這可能與模型訓(xùn)練數(shù)據(jù)的規(guī)模和質(zhì)量有關(guān)。即使提供標(biāo)簽節(jié)點(diǎn)鏈以簡化圖結(jié)構(gòu)預(yù)測(cè)任務(wù)，模型的圖規(guī)劃性能仍不理想，這表明圖規(guī)劃的復(fù)雜性在于對(duì)任務(wù)依賴關(guān)系的理解。

進(jìn)一步的錯(cuò)誤分析顯示，大模型在工作流生成中的典型錯(cuò)誤主要集中在任務(wù)分解的粒度、任務(wù)描述的明確性、圖結(jié)構(gòu)的正確性以及輸出格式的規(guī)范性四個(gè)方面，這些錯(cuò)誤大多源于模型對(duì)環(huán)境知識(shí)的缺乏。

4. 工作流知識(shí)增強(qiáng)智能體

研究表明，工作流可以作為一種流程先驗(yàn)知識(shí)直接指導(dǎo)智能體的規(guī)劃過程，幫助其在復(fù)雜任務(wù)中更高效地執(zhí)行，還可以作為鏈?zhǔn)剿伎迹–hain-of-Thought，CoT）的增強(qiáng)手段。工作流的圖結(jié)構(gòu)特性能夠?qū)崿F(xiàn)并行任務(wù)執(zhí)行，顯著減少推理時(shí)間，提升任務(wù)完成效率。

總而言之，WorfBench和WorfEval為大模型智能體工作流規(guī)劃能力的評(píng)估提供了一個(gè)重要的基準(zhǔn)，也為未來研究指明了方向，例如優(yōu)化提示策略、采用多智能體架構(gòu)，以及將世界知識(shí)或世界模型更深入地融入大模型中。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破