AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：?jiǎn)慰ˋ100實(shí)現(xiàn)百萬(wàn)token推理，速度快10倍，這是微軟官方的大模型推理加速
關(guān)鍵字：上下文,長(zhǎng)上,注意力,下文,斜線
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：張倩、陳萍微軟的這項(xiàng)研究讓開發(fā)者可以在單卡機(jī)器上以 10 倍的速度處理超過 1M 的輸入文本。大型語(yǔ)言模型 (LLM) 已進(jìn)入長(zhǎng)上下文處理時(shí)代，其支持的上下文窗口從先前的 128K 猛增到 10M token 級(jí)別。
然而，由于注意力機(jī)制的二次復(fù)雜度，模型處理輸入提示（即預(yù)填充階段）并開始產(chǎn)生第一個(gè) token 可能需要幾分鐘時(shí)間。導(dǎo)致首個(gè) token 生成的時(shí)間過長(zhǎng)，從而嚴(yán)重影響了用戶體驗(yàn)，這也極大地限制了長(zhǎng)上下文 LLM 的廣泛應(yīng)用。
舉例來(lái)說（如圖 2a 所示），在單臺(tái)裝有 A100 的機(jī)器上為 LLaMA-3-8B 提供服務(wù)時(shí)，如果提示有 30 萬(wàn)個(gè) token，模型需要 6 分鐘才能完成預(yù)填充（ pre-filling）階段，如果提示增加到 100 萬(wàn)個(gè) token，這個(gè)數(shù)字將增加到 30 分鐘。自注意力計(jì)算的開銷占到了總預(yù)填充延遲的 90% 以上，這使其成為 LLM 處理長(zhǎng)上下文時(shí)的主要瓶頸?，F(xiàn)有的加速預(yù)填充方法在應(yīng)用于長(zhǎng)上下文 LLM 時(shí)通常無(wú)法保持可接受的準(zhǔn)確性或效率。
為了解決上述問題，來(lái)自微軟、薩里大學(xué)的研究者提出了一種旨在加速長(zhǎng)序列處理預(yù)填充的

原文鏈接：單卡A100實(shí)現(xiàn)百萬(wàn)token推理，速度快10倍，這是微軟官方的大模型推理加速

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)