大模型國(guó)產(chǎn)化適配3-基于昇騰910使用ChatGLM-6B進(jìn)行模型訓(xùn)練

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型國(guó)產(chǎn)化適配3-基于昇騰910使用ChatGLM-6B進(jìn)行模型訓(xùn)練
關(guān)鍵字：模型,文件,權(quán)重,數(shù)據(jù),切分
文章來(lái)源：算法邦
內(nèi)容字?jǐn)?shù)：18843字

內(nèi)容摘要：

直播預(yù)告 | 5月28日10點(diǎn)，「智猩猩AI新青年講座」第236講正式開(kāi)講，密歇根大學(xué)安娜堡分校在讀博士生張揮杰將直播講解《利用多級(jí)框架和多解碼器架構(gòu)提高擴(kuò)散模型訓(xùn)練效率》，歡迎掃名~隨著 ChatGPT 的現(xiàn)象級(jí)走紅，引領(lǐng)了AI大模型時(shí)代的變革，從而導(dǎo)致 AI 算力日益緊缺。與此同時(shí)，中美貿(mào)易戰(zhàn)以及美國(guó)對(duì)華進(jìn)行AI芯片相關(guān)的制裁導(dǎo)致 AI 算力的國(guó)產(chǎn)化適配勢(shì)在必行。之前講述了基于昇騰910使用ChatGLM-6B進(jìn)行模型推理，本文將講述針對(duì)ChatGLM-6B大模型在昇騰910加速卡上面進(jìn)行模型訓(xùn)練，為了文章具有更好的閱讀體驗(yàn)，具體代碼放置在GitHub：
https://github.com/liguodongiot/llm-action/tree/main/train/ascend/mindformers/chatglm。
環(huán)境搭建
操作系統(tǒng)版本/架構(gòu)：EulerOS release 2.0 (SP8)/aarch64
NPU：8卡 910 ProB 32G
Python：3.7
NPU 驅(qū)動(dòng)：23.0.rc1，下載
NPU 固件：6.3.0.1.241，下載
CANN 工具

原文鏈接：大模型國(guó)產(chǎn)化適配3-基于昇騰910使用ChatGLM-6B進(jìn)行模型訓(xùn)練

聯(lián)系作者

文章來(lái)源：算法邦
作者微信：allplusai
作者簡(jiǎn)介：智猩猩矩陣賬號(hào)之一，聚焦生成式AI，重點(diǎn)關(guān)注模型與應(yīng)用。