AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：20倍壓縮比！微軟提出大模型提示壓縮框架LLMLingua

關(guān)鍵字：提示,模型,方法,語言,比例

文章來源：夕小瑤科技說

內(nèi)容字?jǐn)?shù)：7242字

內(nèi)容摘要：夕小瑤科技說 原創(chuàng)作者 | 智商掉了一地、兔子醬近期，越來越多研究在探索大型語言模型（LLM）在實(shí)際應(yīng)用中的推理和生成能力。隨著 ChatGPT 等模型的廣泛研究與應(yīng)用，如何在保留關(guān)鍵信息的同時(shí)，壓縮較長的提示成為當(dāng)前大模型研究的問題之一。為了加速模型推理并降低成本，微軟的新文章提出了一種粒度粗到細(xì)的提示壓縮方法 LLMLingua，它在對(duì)齊后采用了經(jīng)過良好訓(xùn)練的較小語言模型，通過給提示動(dòng)態(tài)分配不同的壓縮比率，在高壓縮比率下保持語義完整性。雖然 token 級(jí)的壓縮提示的格式難以被人類理解，但 LLM 可以很好地進(jìn)行解釋。實(shí)驗(yàn)證明，這種方法在 20 倍的壓縮下性能損失仍較小，這不僅能夠降低計(jì)算成本，還為處理 LLM 中更長的上下文提供了潛在解決方案。論文題目: LLMLingua: Compressing Prompts for Accelerated Inference of Large…

原文鏈接：點(diǎn)此閱讀原文：20倍壓縮比！微軟提出大模型提示壓縮框架LLMLingua

聯(lián)系作者

文章來源：夕小瑤科技說

作者微信：xixiaoyaoQAQ

作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級(jí)AI實(shí)驗(yàn)室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。