32卡176%訓練加速，開源大模型訓練框架Megatron-LLaMA來了

AIGC動態歡迎閱讀

原標題：32卡176%訓練加速，開源大模型訓練框架Megatron-LLaMA來了

關鍵字：梯度,模型,參數,切分,通信

文章來源：機器之心

內容字數：8394字

內容摘要：機器之心發布機器之心編輯部9 月 12 日，淘天集團聯合愛橙科技正式對外開源大模型訓練框架 ——Megatron-LLaMA，旨在讓技術開發者們能夠更方便的提升大語言模型訓練性能，降低訓練成本，并且保持和 LLaMA 社區的兼容性。測試顯示，在 32 卡訓練上，相比 HuggingFace 上直接獲得的代碼版本，Megatron-LLaMA 能夠取得 176% 的加速；在大規模的訓練上，Megat…

原文鏈接：點此閱讀原文：32卡176%訓練加速，開源大模型訓練框架Megatron-LLaMA來了

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺