32卡176%訓(xùn)練加速，開源大模型訓(xùn)練框架Megatron-LLaMA來了

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：32卡176%訓(xùn)練加速，開源大模型訓(xùn)練框架Megatron-LLaMA來了

關(guān)鍵字：梯度,模型,參數(shù),切分,通信

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：8394字

內(nèi)容摘要：機(jī)器之心發(fā)布機(jī)器之心編輯部9 月 12 日，淘天集團(tuán)聯(lián)合愛橙科技正式對(duì)外開源大模型訓(xùn)練框架 ——Megatron-LLaMA，旨在讓技術(shù)開發(fā)者們能夠更方便的提升大語言模型訓(xùn)練性能，降低訓(xùn)練成本，并且保持和 LLaMA 社區(qū)的兼容性。測(cè)試顯示，在 32 卡訓(xùn)練上，相比 HuggingFace 上直接獲得的代碼版本，Megatron-LLaMA 能夠取得 176% 的加速；在大規(guī)模的訓(xùn)練上，Megat…

原文鏈接：點(diǎn)此閱讀原文：32卡176%訓(xùn)練加速，開源大模型訓(xùn)練框架Megatron-LLaMA來了

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)