LLM實踐系列-昇騰910B上進行Qwen2.5推理

AIGC動態歡迎閱讀

原標題：LLM實踐系列-昇騰910B上進行Qwen2.5推理
關鍵字：華為,模型,騰訊,侵權,性能
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

開講預告11月7日晚7點，上海 AI Lab OpenGVLab 博士后研究員羅根，將以《Mono-InternVL: 突破原生多模態大模型性能瓶頸》為主題進行直播講解，歡迎掃名~文章轉載自公眾號：NLP工作站，本文只做學術/技術分享，如有侵權，聯系刪文。
現在做toB項目，被問的最多的就是支不支持國產化。現在一般用的最多的也是華為昇騰系列顯卡。
今天給大家帶來一篇利用GPUStack框架在昇騰910B上進行Qwen2.5推理部署的實戰。
01配置昇騰環境確認昇騰 NPU 驅動已安裝：npu-smiinfo
根據架構下載對應的 CANN Toolkit 包（開發套件）和對應芯片的 Kernel 包（CANN 算子 https://www.hiascend.com/zh/software/cann/community-history） ：
wgethttps://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-toolkit_8.0.RC3.

原文鏈接：LLM實踐系列-昇騰910B上進行Qwen2.5推理

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：