清華微軟開(kāi)源全新提示詞壓縮工具，長(zhǎng)度驟降80%！GitHub怒砍3.1K星

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：清華微軟開(kāi)源全新提示詞壓縮工具，長(zhǎng)度驟降80%！GitHub怒砍3.1K星
關(guān)鍵字：研究人員,文本,模型,方法,上下文
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：6463字

內(nèi)容摘要：

新智元報(bào)道編輯：潤(rùn) 好困
【新智元導(dǎo)讀】最近，清華和微軟的研究人員提出了一種全新的方法，能在保證輸出質(zhì)量不變的前提下，將提示詞壓縮到原始長(zhǎng)度的20%！在自然語(yǔ)言處理中，有很多信息其實(shí)是重復(fù)的。
如果能將提示詞進(jìn)行有效地壓縮，某種程度上也相當(dāng)于擴(kuò)大了模型支持上下文的長(zhǎng)度。
現(xiàn)有的信息熵方法是通過(guò)刪除某些詞或短語(yǔ)來(lái)減少這種冗余。
然而，作為依據(jù)的信息熵僅僅考慮了文本的單向上下文，進(jìn)而可能會(huì)遺漏對(duì)于壓縮至關(guān)重要的信息；此外，信息熵的計(jì)算方式與壓縮提示詞的真正目的并不完全一致。
為了應(yīng)對(duì)這些挑戰(zhàn)，來(lái)自清華和微軟的研究人員提出了一種全新的數(shù)據(jù)精煉流程——LLMLingua-2，目的是從大型語(yǔ)言模型（LLM）中提取知識(shí)，實(shí)現(xiàn)在不丟失關(guān)鍵信息的前提下對(duì)提示詞進(jìn)行壓縮。
項(xiàng)目在GitHub上已經(jīng)斬獲3.1k星
結(jié)果顯示，LLMLingua-2可以將文本長(zhǎng)度大幅縮減至最初的20%，有效減少了處理時(shí)間和成本。
此外，與前一版本LLMLingua以及其他類(lèi)似技術(shù)相比，LLMLingua 2的處理速度提高了3到6倍。
論文地址：https://arxiv.org/abs/2403.12968
在這個(gè)過(guò)程中，

原文鏈接：清華微軟開(kāi)源全新提示詞壓縮工具，長(zhǎng)度驟降80%！GitHub怒砍3.1K星

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類(lèi)社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。