原標(biāo)題：微軟發(fā)明全新「LLM語言」，AI智能體交互效率翻倍！
文章來源：新智元
內(nèi)容字?jǐn)?shù)：4999字

引言

隨著人工智能技術(shù)的快速發(fā)展，智能體之間的高效交流變得愈加重要。微軟和芝加哥大學(xué)的研究人員近日提出了一種新的交流方式「Droidspeak」，旨在提高LLM（大語言模型）智能體之間的通信效率。本文將總結(jié)這一研究的核心要點和創(chuàng)新之處。

1. Droidspeak的概念

Droidspeak是一種專為AI智能體設(shè)計的交流語言，旨在替代傳統(tǒng)的人類自然語言。這種新語言通過直接傳遞模型中間的計算結(jié)果（緩存）來實現(xiàn)快速通信，避免了將信息轉(zhuǎn)換為人類可理解的自然語言的過程，這樣可以在不損失精度的情況下顯著提高通信速度。

2. 研究背景

在智能體系統(tǒng)中，多個智能體通常源自同一個基礎(chǔ)模型，因而它們在處理相同輸入時的計算結(jié)果相似。傳統(tǒng)的LLM推理過程可分為預(yù)填充（prefill）和解碼（decode）兩個階段，預(yù)填充階段計算量大，成為了性能瓶頸。因此，如何高效利用緩存以減少延遲，成為研究的重點。

3. 實驗設(shè)計與結(jié)果

研究團(tuán)隊通過復(fù)用模型的KV（鍵值）緩存和E（輸入）緩存，測試了其對預(yù)填充延遲的影響。實驗結(jié)果顯示，重用E緩存可以在保持生成質(zhì)量的同時，將預(yù)填充延遲降低1.8倍。最終，結(jié)合KV和E緩存的重用策略，Droidspeak使通信延遲減少了1.69到2.77倍，且對生成質(zhì)量的影響微乎其微。

4. 應(yīng)用前景

Droidspeak的提出為未來智能體系統(tǒng)的高效溝通提供了新的思路。通過優(yōu)化緩存的使用，智能體可以更快速地處理信息，從而提升整體系統(tǒng)的響應(yīng)速度和效率。這一研究不僅為智能體間的交流開辟了新的路徑，同時也為相關(guān)領(lǐng)域的研究提供了重要參考。

結(jié)論

微軟和芝加哥大學(xué)的研究展示了在智能體之間引入專用語言Droidspeak的潛力，通過直接傳遞計算結(jié)果，顯著提高了通信效率。未來，隨著Droidspeak的進(jìn)一步發(fā)展，智能體的協(xié)作和互動將進(jìn)入一個新的階段。

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響，領(lǐng)航中國新智能時代。