AIGC動態(tài)歡迎閱讀

原標題：阿里與上交大提出 LLM 長文本計算新解法：可處理文本長達 1900k 字節(jié)、效率提升 2.4 倍
關鍵字：分布式,內(nèi)存,模型,上下文,資源
文章來源：AI科技評論
內(nèi)容字數(shù)：7844字

內(nèi)容摘要：

DistAttention與DistKV-LLM結合，帶來云端自然語言處理新變革。編譯 | 郭 思
編輯丨陳彩嫻
在實際應用大模型的過程中，尤其是處理長文本的上下文信息時，如何高效靈活地調(diào)度計算資源成為一個學術界與工業(yè)界共同關注的問題。
大語言模型所能容納的上下文長度直接影響了諸如 ChatGPT 等高級應用與用戶交互體驗的優(yōu)劣程度，這給云環(huán)境下的 LLM 服務系統(tǒng)提出了嚴峻挑戰(zhàn)：不合理的資源配置不僅可能導致性能瓶頸，還可能造成寶貴的計算資源浪費。
最近，上海交通大學攜手阿里研究團隊針對這個問題開展了一項研究。
他們提出一個名為 DistAttention 的新穎注意力機制以及一套名為 DistKV-LLM 的分布式 LLM 服務架構，針對長文本語言任務處理中的計算難題提出了新解法，或是對行業(yè)的啟示。
論文鏈接：https://arxiv.org/pdf/2401.02669.pdf1長文本處理，眾久難熬LLM云服務是指通過云計算平臺提供的，基于大型語言模型的各項服務。各家在LLM云服務之上也下足了馬力。目前市場上主要的 LLM 云服務提供商包括但不限于亞馬遜的 SageMaker、谷

原文鏈接：阿里與上交大提出 LLM 長文本計算新解法：可處理文本長達 1900k 字節(jié)、效率提升 2.4 倍

聯(lián)系作者

文章來源：AI科技評論
作者微信：aitechtalk
作者簡介：雷峰網(wǎng)旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。