大模型國(guó)產(chǎn)化適配4-基于昇騰910使用LLaMA-13B進(jìn)行多機(jī)多卡訓(xùn)練

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型國(guó)產(chǎn)化適配4-基于昇騰910使用LLaMA-13B進(jìn)行多機(jī)多卡訓(xùn)練
關(guān)鍵字：華為,模型,權(quán)重,數(shù)據(jù),路徑
文章來(lái)源：算法邦
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

直播預(yù)告 | 6月6日晚7點(diǎn)，「智猩猩AI新青年講座」第238講正式開(kāi)講，香港大學(xué)CVMI Lab在讀博士楊霽晗將直播講解《V-IRL：根植于真實(shí)世界的AI Agents》，歡迎掃名~隨著 ChatGPT 的現(xiàn)象級(jí)走紅，引領(lǐng)了 AI 大模型時(shí)代的變革，從而導(dǎo)致 AI 算力日益緊缺。與此同時(shí)，中美貿(mào)易戰(zhàn)以及美國(guó)對(duì)華進(jìn)行AI芯片相關(guān)的制裁導(dǎo)致 AI 算力的國(guó)產(chǎn)化適配勢(shì)在必行。之前講述了基于昇騰910使用ChatGLM-6B進(jìn)行模型訓(xùn)練和推理，主要是針對(duì) MindSpore 框架進(jìn)行大模型訓(xùn)練，這也是華為自家研發(fā)的 AI 框架。在昇騰上面除了使用 MindSpore 進(jìn)行大模型訓(xùn)練，我們也可以使用 PyTorch 進(jìn)行大模型訓(xùn)練。這兩個(gè)框架也是在昇騰 NPU 上華為花主要精力維護(hù)的兩款 AI 框架。
本文主要針對(duì) MindSpore 和 Pytorch 分布式 AI 框架在進(jìn)行多機(jī)多卡訓(xùn)練（雙機(jī)16卡），為了文章具有更好的閱讀體驗(yàn)，具體代碼放置在GitHub：llm-action。
大模型國(guó)產(chǎn)化系列：
大模型國(guó)產(chǎn)化適配1-華為昇騰AI全棧軟硬件平臺(tái)總結(jié)
大模型國(guó)產(chǎn)化適配2-基于昇騰91

原文鏈接：大模型國(guó)產(chǎn)化適配4-基于昇騰910使用LLaMA-13B進(jìn)行多機(jī)多卡訓(xùn)練