AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：400萬(wàn)token上下文、推理再加速46%！最新開(kāi)源方案升級(jí)MIT成果，推理成本再降低
關(guān)鍵字：模型,注意力,窗口,效果,機(jī)制
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：4665字

內(nèi)容摘要：

明敏 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI22倍加速還不夠，再來(lái)提升46%，而且方法直接開(kāi)源！
這就是開(kāi)源社區(qū)改進(jìn)MIT爆火項(xiàng)目StreamingLLM的最新成果。
StreamingLLM可以在不犧牲生成效果、推理速度的前提下，實(shí)現(xiàn)多輪對(duì)話(huà)共400萬(wàn)個(gè)token，22.2倍推理速度提升。
該項(xiàng)目在上線不到3個(gè)月時(shí)間內(nèi)，GitHub項(xiàng)目標(biāo)星達(dá)到5.7k star。
不過(guò)，StreamingLLM使用原生PyTorch實(shí)現(xiàn)，對(duì)于多輪對(duì)話(huà)推理場(chǎng)景落地應(yīng)用的低成本、低延遲、高吞吐等需求仍有優(yōu)化空間。
Colossal-AI團(tuán)隊(duì)開(kāi)源了SwiftInfer，基于TensorRT的StreamingLLM，可以進(jìn)一步提升大模型推理性能46%，有效解決如上問(wèn)題。
具體如何實(shí)現(xiàn)？一起來(lái)看。
開(kāi)源地址：https://github.com/hpcaitech/SwiftInfer
StreamingLLM如何實(shí)現(xiàn)超長(zhǎng)多輪對(duì)話(huà)？大語(yǔ)言模型能夠記住的上下文長(zhǎng)度，直接影響了ChatGPT等大模型應(yīng)用與用戶(hù)互動(dòng)的質(zhì)量。
如何讓LLM在多輪對(duì)話(huà)場(chǎng)景下保持生成質(zhì)量，對(duì)推理系統(tǒng)提出了更高的要求，因?yàn)長(zhǎng)LM在預(yù)

原文鏈接：400萬(wàn)token上下文、推理再加速46%！最新開(kāi)源方案升級(jí)MIT成果，推理成本再降低

聯(lián)系作者

文章來(lái)源：量子位
作者微信：QbitAI
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破