LLM吞吐量提高2-4倍，模型越大效果越好！UC伯克利、斯坦福等開源高效內存管理機制PagedAttention

AIGC動態歡迎閱讀

原標題：LLM吞吐量提高2-4倍，模型越大效果越好！UC伯克利、斯坦福等開源高效內存管理機制PagedAttention

關鍵字：緩存,內存,物理,邏輯,序列

文章來源：新智元

內容字數：12737字

內容摘要：新智元報道編輯：LRS【新智元導讀】吞吐量上不去有可能是內存背鍋！無需修改模型架構，減少內存浪費就能提高吞吐量！?雖然大型語言模型（LLM）的性能表現足夠驚艷，但每次接收用戶請求時都需要耗費大量顯存和計算資源，一旦請求數量超出預期，就極有可能面臨ChatGPT剛發布時的宕機、排隊、高延遲等窘境。想要打造一個高吞吐量的LLM服務，就需要模型在一個批次內處理盡可能多的請求，不過現有的系統大多在每次處理…

原文鏈接：點此閱讀原文：LLM吞吐量提高2-4倍，模型越大效果越好！UC伯克利、斯坦福等開源高效內存管理機制PagedAttention

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。