原標題:無需訓練,性能提升100%!谷歌提出CoA「智能體鏈」,多LLM協作搞定長文本
文章來源:新智元
內容字數:7801字
谷歌提出“智能體鏈”:解決LLM長文本處理難題
近年來,大型語言模型(LLM)在諸多任務中表現出色,但處理長文本依然是其短板。谷歌提出的“智能體鏈”(Chain-of-Agents,CoA)框架為解決這一難題提供了一種新思路。該框架無需訓練,任務無關且高度可解釋,通過多個LLM間的協作來處理長上下文任務,性能顯著超越了傳統的檢索增強生成(RAG)和長上下文LLM。
1. 核心思想:模擬人類閱讀處理長文本的方式 CoA 的靈感源于人類處理長文本的方式:分段閱讀和理解。它將長文本分割成多個塊,由多個“工作智能體”依次處理,每個智能體處理一個文本塊,并將其理解結果傳遞給下一個智能體。最后,一個“管理智能體”整合所有智能體的信息,生成最終答案。
2. 高效的協作機制 每個“工作智能體”接收前一個智能體傳遞的信息、當前文本塊和任務指令,處理后將更新的信息傳遞給下一個智能體。這種鏈式傳遞機制,使得信息在多個智能體間高效流動,并最終完成對長文本的整體理解。
3. 顯著的性能提升 實驗結果顯示,CoA 在問答、摘要和代碼補全等任務上均取得了顯著的性能提升,相較于基線模型提升高達10%,處理長文本時提升甚至可達100%。它在多個數據集上,使用不同的基礎LLM時,都顯著優于Vanilla和RAG模型。
4. 計算效率的提升 CoA 的時間復雜度從全上下文方法的平方復雜度降到了線性復雜度,顯著提高了計算效率。這得益于其分塊處理和智能體協作機制,避免了將整個長文本一次性輸入LLM。
5. 優勢與不足 CoA 的優勢在于其高效性、可解釋性和對不同LLM模型的兼容性。它無需針對特定任務進行訓練,并且其工作過程易于理解。然而,文章也討論了信息損失等問題,并進行了相應的消融實驗。
6. 研究意義 CoA 提供了一種新穎且有效的方法來處理LLM的長文本處理難題。它為未來LLM在處理復雜長文本任務方面提供了新的方向,也為多智能體協作在人工智能領域的應用提供了新的案例。
7. 未來展望 谷歌的研究表明,2025年將是智能體技術發力之年。 CoA框架的提出,無疑將推動多智能體LLM在各個領域的應用,例如長文本摘要、復雜問答、代碼生成等。
聯系作者
文章來源:新智元
作者微信:
作者簡介:智能+中國主平臺,致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展,關注人機融合、人工智能和機器人對人類社會與文明進化的影響,領航中國新智能時代。