阿里與上交大提出 LLM 長(zhǎng)文本計(jì)算新解法：可處理文本長(zhǎng)達(dá) 1900k 字節(jié)、效率提升 2.4 倍

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：阿里與上交大提出 LLM 長(zhǎng)文本計(jì)算新解法：可處理文本長(zhǎng)達(dá) 1900k 字節(jié)、效率提升 2.4 倍
關(guān)鍵字：分布式,內(nèi)存,模型,上下文,資源
文章來(lái)源：AI科技評(píng)論
內(nèi)容字?jǐn)?shù)：7844字

內(nèi)容摘要：

DistAttention與DistKV-LLM結(jié)合，帶來(lái)云端自然語(yǔ)言處理新變革。編譯 | 郭 思
編輯丨陳彩嫻
在實(shí)際應(yīng)用大模型的過(guò)程中，尤其是處理長(zhǎng)文本的上下文信息時(shí)，如何高效靈活地調(diào)度計(jì)算資源成為一個(gè)學(xué)術(shù)界與工業(yè)界共同關(guān)注的問(wèn)題。
大語(yǔ)言模型所能容納的上下文長(zhǎng)度直接影響了諸如 ChatGPT 等高級(jí)應(yīng)用與用戶交互體驗(yàn)的優(yōu)劣程度，這給云環(huán)境下的 LLM 服務(wù)系統(tǒng)提出了嚴(yán)峻挑戰(zhàn)：不合理的資源配置不僅可能導(dǎo)致性能瓶頸，還可能造成寶貴的計(jì)算資源浪費(fèi)。
最近，上海交通大學(xué)攜手阿里研究團(tuán)隊(duì)針對(duì)這個(gè)問(wèn)題開展了一項(xiàng)研究。
他們提出一個(gè)名為 DistAttention 的新穎注意力機(jī)制以及一套名為 DistKV-LLM 的分布式 LLM 服務(wù)架構(gòu)，針對(duì)長(zhǎng)文本語(yǔ)言任務(wù)處理中的計(jì)算難題提出了新解法，或是對(duì)行業(yè)的啟示。
論文鏈接：https://arxiv.org/pdf/2401.02669.pdf1長(zhǎng)文本處理，眾久難熬LLM云服務(wù)是指通過(guò)云計(jì)算平臺(tái)提供的，基于大型語(yǔ)言模型的各項(xiàng)服務(wù)。各家在LLM云服務(wù)之上也下足了馬力。目前市場(chǎng)上主要的 LLM 云服務(wù)提供商包括但不限于亞馬遜的 SageMaker、谷

原文鏈接：阿里與上交大提出 LLM 長(zhǎng)文本計(jì)算新解法：可處理文本長(zhǎng)達(dá) 1900k 字節(jié)、效率提升 2.4 倍

聯(lián)系作者

文章來(lái)源：AI科技評(píng)論
作者微信：aitechtalk
作者簡(jiǎn)介：雷峰網(wǎng)旗下AI新媒體。聚焦AI前沿研究，關(guān)注AI工程落地。