清華微軟開源全新提示詞壓縮工具，長度驟降80%！GitHub怒砍3.1K星

AIGC動態歡迎閱讀

原標題：清華微軟開源全新提示詞壓縮工具，長度驟降80%！GitHub怒砍3.1K星
關鍵字：研究人員,文本,模型,方法,上下文
文章來源：新智元
內容字數：6463字

內容摘要：

新智元報道編輯：潤 好困
【新智元導讀】最近，清華和微軟的研究人員提出了一種全新的方法，能在保證輸出質量不變的前提下，將提示詞壓縮到原始長度的20%！在自然語言處理中，有很多信息其實是重復的。
如果能將提示詞進行有效地壓縮，某種程度上也相當于擴大了模型支持上下文的長度。
現有的信息熵方法是通過刪除某些詞或短語來減少這種冗余。
然而，作為依據的信息熵僅僅考慮了文本的單向上下文，進而可能會遺漏對于壓縮至關重要的信息；此外，信息熵的計算方式與壓縮提示詞的真正目的并不完全一致。
為了應對這些挑戰，來自清華和微軟的研究人員提出了一種全新的數據精煉流程——LLMLingua-2，目的是從大型語言模型（LLM）中提取知識，實現在不丟失關鍵信息的前提下對提示詞進行壓縮。
項目在GitHub上已經斬獲3.1k星
結果顯示，LLMLingua-2可以將文本長度大幅縮減至最初的20%，有效減少了處理時間和成本。
此外，與前一版本LLMLingua以及其他類似技術相比，LLMLingua 2的處理速度提高了3到6倍。
論文地址：https://arxiv.org/abs/2403.12968
在這個過程中，

原文鏈接：清華微軟開源全新提示詞壓縮工具，長度驟降80%！GitHub怒砍3.1K星

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。