AgentPrune – 同濟(jì)聯(lián)合港中文等機(jī)構(gòu)推出的多智能體通信優(yōu)化框架

AgentPrune是一種創(chuàng)新的通信優(yōu)化框架，專(zhuān)為大型語(yǔ)言模型（LLM）驅(qū)動(dòng)的多智能體系統(tǒng)設(shè)計(jì)，由同濟(jì)大學(xué)和香港中文大學(xué)等研究機(jī)構(gòu)聯(lián)合開(kāi)發(fā)。通過(guò)采用“剪枝”技術(shù)，AgentPrune有效剔除了冗余和潛在有害的通信內(nèi)容，從而降低了通信成本并提升了系統(tǒng)性能。

AgentPrune是什么

AgentPrune是一個(gè)高效的多智能體通信優(yōu)化框架，旨在處理大型語(yǔ)言模型（LLM）驅(qū)動(dòng)的系統(tǒng)。該框架通過(guò)“剪枝”技術(shù)，去除多余和有害的通信內(nèi)容，從而降低通信成本并提升整體系統(tǒng)性能。AgentPrune將多智能體系統(tǒng)建模為時(shí)空?qǐng)D，利用低秩稀疏圖掩碼來(lái)優(yōu)化通信連接，經(jīng)過(guò)一次性剪枝生成高效的通信拓?fù)洹Ｔ诙鄠€(gè)基準(zhǔn)測(cè)試中，AgentPrune以?xún)H5.6%的成本實(shí)現(xiàn)了與傳統(tǒng)方法相當(dāng)?shù)男阅埽⒖蔁o(wú)縫集成至現(xiàn)有多智能體框架，如AutoGen和GPTSwarm，實(shí)現(xiàn)28.1%至72.8%的Token減少。

AgentPrune的主要功能

• 通信冗余識(shí)別與剪枝：AgentPrune首次定義并識(shí)別LLM多智能體系統(tǒng)中的通信冗余，通過(guò)一次性剪枝技術(shù)有效剔除不必要的通信內(nèi)容。
• 時(shí)空?qǐng)D建模與優(yōu)化：將多智能體系統(tǒng)建模為時(shí)空?qǐng)D，包含空間邊（同一輪對(duì)話(huà)中的通信）和時(shí)間邊（跨輪對(duì)話(huà)中的通信），通過(guò)參數(shù)化圖掩碼進(jìn)行優(yōu)化。
• 低秩稀疏圖掩碼應(yīng)用：利用低秩稀疏圖掩碼，使通信結(jié)構(gòu)更加稀疏，減少冗余和噪聲，并增強(qiáng)對(duì)網(wǎng)絡(luò)攻擊的抵抗力。
• 成本與性能優(yōu)化：在多個(gè)基準(zhǔn)測(cè)試中，AgentPrune以更低的成本（僅需$5.6），達(dá)到與現(xiàn)有最先進(jìn)拓?fù)湎喈?dāng)?shù)男Ч⒛軣o(wú)縫集成到現(xiàn)有多智能體框架中，實(shí)現(xiàn)28.1%到72.8%的Token減少。
• 對(duì)抗攻擊防御：AgentPrune能夠有效防御兩種類(lèi)型的智能體對(duì)抗攻擊，帶來(lái)3.5%至10.8%的性能提升。

AgentPrune的技術(shù)原理

• 時(shí)空?qǐng)D建模：AgentPrune將多智能體系統(tǒng)的通信結(jié)構(gòu)建模為時(shí)空?qǐng)D，節(jié)點(diǎn)代表智能體，邊表示通信連接，分為空間邊和時(shí)間邊。
• 參數(shù)化圖掩碼：通過(guò)參數(shù)化圖掩碼優(yōu)化通信連接，圖掩碼的目標(biāo)是反映通信連接的重要性，使用策略梯度方法最大化系統(tǒng)效用并最小化通信冗余。
• 一次性剪枝：在訓(xùn)練初期，AgentPrune對(duì)圖掩碼進(jìn)行有限次優(yōu)化，然后通過(guò)一次性剪枝保留重要連接，生成稀疏的通信圖。
• 優(yōu)化后的通信圖：在后續(xù)通信中，多智能體系統(tǒng)將嚴(yán)格遵循優(yōu)化后的通信圖進(jìn)行消息傳遞，降低通信成本，同時(shí)保持高效的性能。

AgentPrune的項(xiàng)目地址

• Github倉(cāng)庫(kù)：https://github.com/yanweiyue/AgentPrune
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.02506

AgentPrune的應(yīng)用場(chǎng)景

• 多智能體系統(tǒng)優(yōu)化：AgentPrune能夠無(wú)縫集成到現(xiàn)有多智能體框架，如AutoGen和GPTSwarm，顯著降低通信成本并保持或提升系統(tǒng)性能。
• 經(jīng)濟(jì)高效的通信拓?fù)?/strong>：通過(guò)一次性剪枝技術(shù)，AgentPrune生成稀疏的通信拓?fù)洌@著減少Token消耗。
• 復(fù)雜任務(wù)協(xié)作：適用于多個(gè)智能體協(xié)作完成的復(fù)雜任務(wù)，如數(shù)學(xué)推理、代碼生成和常識(shí)問(wèn)答等，優(yōu)化通信結(jié)構(gòu)提高任務(wù)完成效率并降低成本。
• 工業(yè)和企業(yè)級(jí)應(yīng)用：在工業(yè)自動(dòng)化和企業(yè)級(jí)應(yīng)用中，AgentPrune能夠優(yōu)化智能體之間的通信，減少資源浪費(fèi)并提升系統(tǒng)整體效率。

常見(jiàn)問(wèn)題

• AgentPrune的主要優(yōu)勢(shì)是什么？：AgentPrune的主要優(yōu)勢(shì)在于其高效的通信冗余識(shí)別與剪枝能力，顯著降低了通信成本，同時(shí)提升了系統(tǒng)性能。
• 如何集成AgentPrune到現(xiàn)有系統(tǒng)中？：AgentPrune能夠無(wú)縫集成到現(xiàn)有的多智能體框架中，如AutoGen和GPTSwarm，具體集成步驟可參考官方文檔。
• AgentPrune適用于哪些類(lèi)型的任務(wù)？：AgentPrune特別適合需要多個(gè)智能體協(xié)作完成的復(fù)雜任務(wù)，包括但不限于數(shù)學(xué)推理、代碼生成和常識(shí)問(wèn)答。