基于華為昇騰推理引擎MindIE部署Qwen-72B實戰

AIGC動態歡迎閱讀

原標題：基于華為昇騰推理引擎MindIE部署Qwen-72B實戰
關鍵字：華為,模型,參數,權重,建議
文章來源：算法邦
內容字數：0字

內容摘要：

在華為昇騰LLM落地可選解決方案中，我們曾介紹過MindIE，并且前段時間MindIE 1.0.RC1已經發布，本文主要將對其進行實戰演練。
01MindIE 簡介MindIE（Mind Inference Engine，昇騰推理引擎）是華為昇騰針對AI全場景業務的推理加速套件。通過分層開放AI能力，支撐用戶多樣化的AI業務需求，使能百模千態，釋放昇騰硬件設備算力。向上支持多種主流AI框架，向下對接不同類型昇騰AI處理器，提供多層次編程接口，幫助用戶快速構建基于昇騰平臺的推理業務。主要包括模型推理引擎 MindIE 和模型服務化 MindIE-Service。image.png
從算子、模型、應用三大維度，全面加速推理部署。image.png
模型推理引擎：MindIE
MindIE 作為一個模型推理引擎，提供了針對大語言模型和SD模型特定的優化。
image.png
模型服務化：MindIE-Service
MindIE-Service 作為一個模型服務化框架，主要包含如下幾個部分：
MindIE-MS：服務策略管理，提供運維監控能力。
MindIE-Server：推理服務端，提供模

原文鏈接：基于華為昇騰推理引擎MindIE部署Qwen-72B實戰

聯系作者

文章來源：算法邦
作者微信：
作者簡介：