大模型國產化適配2-基于昇騰910使用ChatGLM-6B進行模型推理

AIGC動態歡迎閱讀

原標題：大模型國產化適配2-基于昇騰910使用ChatGLM-6B進行模型推理
關鍵字：華為,模型,小說,權重,本金
文章來源：算法邦
內容字數：12685字

內容摘要：

直播預告 | 5月23日晚7點，「智猩猩機器人新青年講座」第6講正式開講，論文一作、清華大學在讀博士郭旭東將直播講解《大模型在具身多智能體合作中的研究進展與展望》，歡迎掃名~隨著 ChatGPT 的現象級走紅，引領了AI大模型時代的變革，從而導致 AI 算力日益緊缺。與此同時，中美貿易戰以及美國對華進行AI芯片相關的制裁導致 AI 算力的國產化適配勢在必行。之前對華為昇騰AI軟硬件平臺進行過相應的介紹，本文將講述針對ChatGLM-6B大模型在昇騰910加速卡上面進行模型推理，具體代碼放置在GitHub：https://github.com/liguodongiot/llm-action/tree/main/train/ascend/mindformers/chatglm。
01ChatGLM-6B 簡介ChatGLM-6B 是一個由清華開源的中英雙語對話大語言模型，基于 General Language Model (GLM) 架構，具有 62 億參數。ChatGLM-6B 使用了和 ChatGPT 相似的技術，針對中文問答和對話進行了優化。經過約 1T 標識符的中英雙語訓練，輔

原文鏈接：大模型國產化適配2-基于昇騰910使用ChatGLM-6B進行模型推理

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。