阿里與上交大提出 LLM 長文本計算新解法：可處理文本長達 1900k 字節、效率提升 2.4 倍

AIGC動態歡迎閱讀

原標題：阿里與上交大提出 LLM 長文本計算新解法：可處理文本長達 1900k 字節、效率提升 2.4 倍
關鍵字：分布式,內存,模型,上下文,資源
文章來源：AI科技評論
內容字數：7844字

內容摘要：

DistAttention與DistKV-LLM結合，帶來云端自然語言處理新變革。編譯 | 郭 思
編輯丨陳彩嫻
在實際應用大模型的過程中，尤其是處理長文本的上下文信息時，如何高效靈活地調度計算資源成為一個學術界與工業界共同關注的問題。
大語言模型所能容納的上下文長度直接影響了諸如 ChatGPT 等高級應用與用戶交互體驗的優劣程度，這給云環境下的 LLM 服務系統提出了嚴峻挑戰：不合理的資源配置不僅可能導致性能瓶頸，還可能造成寶貴的計算資源浪費。
最近，上海交通大學攜手阿里研究團隊針對這個問題開展了一項研究。
他們提出一個名為 DistAttention 的新穎注意力機制以及一套名為 DistKV-LLM 的分布式 LLM 服務架構，針對長文本語言任務處理中的計算難題提出了新解法，或是對行業的啟示。
論文鏈接：https://arxiv.org/pdf/2401.02669.pdf1長文本處理，眾久難熬LLM云服務是指通過云計算平臺提供的，基于大型語言模型的各項服務。各家在LLM云服務之上也下足了馬力。目前市場上主要的 LLM 云服務提供商包括但不限于亞馬遜的 SageMaker、谷

原文鏈接：阿里與上交大提出 LLM 長文本計算新解法：可處理文本長達 1900k 字節、效率提升 2.4 倍

聯系作者

文章來源：AI科技評論
作者微信：aitechtalk
作者簡介：雷峰網旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。