拆掉英偉達護城河，細節曝光！世界最快超算用3072塊AMD GPU訓完超萬億參數LLM

AIGC動態歡迎閱讀

原標題：拆掉英偉達護城河，細節曝光！世界最快超算用3072塊AMD GPU訓完超萬億參數LLM
關鍵字：管線,模型,研究人員,參數,數據
文章來源：新智元
內容字數：13753字

內容摘要：

新智元報道編輯：潤 好困
【新智元導讀】世界上最快超算集群Frontier，用8%的GPU訓練出了一個萬億級規模的大模型，而且是在AMD硬件平臺之上完成。研究人員將訓練的細節和克服的困難寫成了一篇論文，展示了如何用非英偉達的生態完成大模型訓練的技術框架和細節。用AMD的軟硬件系統也能訓練GPT-3.5級別的大模型了。
位于美國橡樹嶺國家實驗室（Oak Ridge National Laboratory）的全世界最大的超算Frontier，集合了37888個MI250X GPU和9472個Epyc 7A53 CPU。
最近，研究人員只使用了其中8%左右的GPU，就訓練了一個GPT-3.5規模的模型。
研究人員成功地使用ROCM軟件平臺在AMD硬件上成功地突破了分布式訓練模型的很多難點，建立了使用ROCM平臺在AMD硬件上為大模型實現最先進的分布式訓練算法和框架。
成功地在非英偉達和非CUDA平臺上為高效訓練LLM提供了可行的技術框架。
訓練完成后，研究人員將在Frontier上訓練大模型的經驗的總結成了一篇論文，詳細描述了期間遇到的挑戰以及克服的困難。
論文鏈接：https://arx

原文鏈接：拆掉英偉達護城河，細節曝光！世界最快超算用3072塊AMD GPU訓完超萬億參數LLM

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。