LLM生成延遲降低50%！DeepSpeed團隊發布FastGen：動態SplitFuse技術，提升2.3倍有效吞吐量

AIGC動態歡迎閱讀

原標題：LLM生成延遲降低50%！DeepSpeed團隊發布FastGen：動態SplitFuse技術，提升2.3倍有效吞吐量

關鍵字：吞吐量,提示,模型,系統,知乎

文章來源：新智元

內容字數：23009字

內容摘要：新智元報道編輯：LRS【新智元導讀】DeepSpeed-FastGen結合MII和DeepSpeed-Inference實現LLM高吞吐量文本生成。GPT-4和LLaMA這樣的大型語言模型（LLMs）已在各個層次上成為了集成AI 的主流服務應用。從常規模型到文檔摘要，從自動駕駛到各個軟件中的Copilot功能，這些模型的部署和服務需求正在迅速增加。像DeepSpeed、PyTorch和其他幾個框架可以在LLM訓練期間實現良好的硬件利用率，但它們在與用戶互動及處理開放式文本生成等任務時，受限于這些操作的計算密集度相對較低，現有系統往往在推理吞吐量上遇到瓶頸。為了解決這一問題，使用類似vLLM這樣由PagedAttention驅動的框架或是Orca系統可以顯著提高LLM推理的性能。然而，這些系統在面對長提示的工作負載時，依舊難以提供良好的服務質量。隨著越來越多的模型（例如MPT-Story…

原文鏈接：點此閱讀原文：LLM生成延遲降低50%！DeepSpeed團隊發布FastGen：動態SplitFuse技術，提升2.3倍有效吞吐量

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。