AIGC動態(tài)歡迎閱讀

原標題：20倍壓縮比！微軟提出大模型提示壓縮框架LLMLingua

關(guān)鍵字：提示,模型,方法,語言,比例

文章來源：夕小瑤科技說

內(nèi)容字數(shù)：7242字

內(nèi)容摘要：夕小瑤科技說 原創(chuàng)作者 | 智商掉了一地、兔子醬近期，越來越多研究在探索大型語言模型（LLM）在實際應(yīng)用中的推理和生成能力。隨著 ChatGPT 等模型的廣泛研究與應(yīng)用，如何在保留關(guān)鍵信息的同時，壓縮較長的提示成為當前大模型研究的問題之一。為了加速模型推理并降低成本，微軟的新文章提出了一種粒度粗到細的提示壓縮方法 LLMLingua，它在對齊后采用了經(jīng)過良好訓(xùn)練的較小語言模型，通過給提示動態(tài)分配不同的壓縮比率，在高壓縮比率下保持語義完整性。雖然 token 級的壓縮提示的格式難以被人類理解，但 LLM 可以很好地進行解釋。實驗證明，這種方法在 20 倍的壓縮下性能損失仍較小，這不僅能夠降低計算成本，還為處理 LLM 中更長的上下文提供了潛在解決方案。論文題目: LLMLingua: Compressing Prompts for Accelerated Inference of Large…

原文鏈接：點此閱讀原文：20倍壓縮比！微軟提出大模型提示壓縮框架LLMLingua

聯(lián)系作者

文章來源：夕小瑤科技說

作者微信：xixiaoyaoQAQ

作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。