AIGC動態歡迎閱讀

原標題：圖解大模型訓練之：數據并行上篇(DP, DDP與ZeRO)
關鍵字：梯度,通訊,數據,模型,參數
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

GTIC 2024中國AI PC創新峰會將于10月11日，在2024上海國際消費電子展TechG同期舉辦。聯想集團首席研究員顏毅強、榮耀終端有限公司PC產品研發系統部部長席迎軍等7位嘉賓，將分別圍繞面向大模型的個人計算體系和交互、AI 重構PC、RISC-V AI芯片、AIGC在端側產品的發展、操作系統與AI技術結合探索、聯合模型和硬件的優化適配平臺MLGuider、智能體個人助理等議題進行演講，歡迎報名～在上一篇的介紹中，我們介紹了以Google GPipe為代表的流水線并行范式。當模型太大，一塊GPU放不下時，流水線并行將模型的不同層放到不同的GPU上，通過切割mini-batch實現對訓練數據的流水線處理，提升GPU計算通訊比。同時通過re-materialization機制降低顯存消耗。
但在實際應用中，流水線并行并不特別流行，主要原因是模型能否均勻切割，影響了整體計算效率，這就需要算法工程師做手調。因此，今天我們來介紹一種應用最廣泛，最易于理解的并行范式：數據并行。
數據并行的核心思想是：在各個GPU上都拷貝一份完整模型，各自吃一份數據，算一份梯度，最后對梯度進行累加來更新整

原文鏈接：圖解大模型訓練之：數據并行上篇(DP, DDP與ZeRO)

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：