吞吐量提升近30倍！田淵棟團隊最新論文解決大模型部署難題

AIGC動態歡迎閱讀

原標題：吞吐量提升近30倍！田淵棟團隊最新論文解決大模型部署難題

關鍵字：緩存,注意力,策略,模型,矩陣

文章來源：新智元

內容字數：6857字

內容摘要：新智元報道編輯：alan【新智元導讀】大語言模型在實際部署中，存在內存和輸入長度限制的問題。最近，田淵棟團隊一舉解決這兩大難題，將推理系統的吞吐量提高了近30倍。大型語言模型 （LLM） 在今年可謂是風光無限。不過驚艷的效果背后是一個巨大的模型以及夸張的硬件資源。LLM在現實中部署時通常會面臨兩個難題：昂貴的KV緩存成本，以及對長序列的泛化能力差。近日，田淵棟團隊發表了一篇論文，成功解決以上兩個難題，并將推理系統的吞吐量提高了近30倍！論文地址：https://arxiv.org/pdf/2306.14048.pdf代碼地址：https://github.com/FMInference/H2O這個成果也將在NeurIPS’23上展示。下面，我們來看一下這兩個難題的具體情況，以及論文提供的解決方案。首先是緩存，KV緩存用于存儲生成過程中的中間注意力鍵和值，以避免重新計算。通常，除了模型參數外…

原文鏈接：點此閱讀原文：吞吐量提升近30倍！田淵棟團隊最新論文解決大模型部署難題

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。