AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：基于華為昇騰推理引擎MindIE部署Qwen-72B實(shí)戰(zhàn)
關(guān)鍵字：華為,模型,參數(shù),權(quán)重,建議
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

在華為昇騰LLM落地可選解決方案中，我們?cè)榻B過MindIE，并且前段時(shí)間MindIE 1.0.RC1已經(jīng)發(fā)布，本文主要將對(duì)其進(jìn)行實(shí)戰(zhàn)演練。
01MindIE 簡介MindIE（Mind Inference Engine，昇騰推理引擎）是華為昇騰針對(duì)AI全場景業(yè)務(wù)的推理加速套件。通過分層開放AI能力，支撐用戶多樣化的AI業(yè)務(wù)需求，使能百模千態(tài)，釋放昇騰硬件設(shè)備算力。向上支持多種主流AI框架，向下對(duì)接不同類型昇騰AI處理器，提供多層次編程接口，幫助用戶快速構(gòu)建基于昇騰平臺(tái)的推理業(yè)務(wù)。主要包括模型推理引擎 MindIE 和模型服務(wù)化 MindIE-Service。image.png
從算子、模型、應(yīng)用三大維度，全面加速推理部署。image.png
模型推理引擎：MindIE
MindIE 作為一個(gè)模型推理引擎，提供了針對(duì)大語言模型和SD模型特定的優(yōu)化。
image.png
模型服務(wù)化：MindIE-Service
MindIE-Service 作為一個(gè)模型服務(wù)化框架，主要包含如下幾個(gè)部分：
MindIE-MS：服務(wù)策略管理，提供運(yùn)維監(jiān)控能力。
MindIE-Server：推理服務(wù)端，提供模

原文鏈接：基于華為昇騰推理引擎MindIE部署Qwen-72B實(shí)戰(zhàn)

聯(lián)系作者

文章來源：算法邦
作者微信：
作者簡介：