騰訊披露最新大模型訓練方法：效率提升至 2.6 倍、可節(jié)省 50% 算力成本

AIGC動態(tài)歡迎閱讀

原標題：騰訊披露最新大模型訓練方法：效率提升至 2.6 倍、可節(jié)省 50% 算力成本

關鍵字：騰訊,模型,報告,框架,能力

文章來源：AI前線

內(nèi)容字數(shù)：3133字

內(nèi)容摘要：作者 | 褚杏娟 如今，大模型的參數(shù)規(guī)模呈現(xiàn)指數(shù)級增長。在算力緊缺的背景下，如何提升大模型訓練和推理的效率，并降低成本，成為業(yè)界關注的焦點。11 月 23 日，騰訊披露，騰訊混元大模型背后的自研機器學習框架 Angel 再次升級，大模型訓練效率提升至主流開源框架的 2.6 倍，千億級大模型訓練可節(jié)省 50% 算力成本。升級后的 Angel 支持單任務萬卡級別超大規(guī)模訓練，進一步提升騰訊云 HCC 大模型專屬算力集群的性能和效率。訓練推理效率如何再提升面向大模型訓練，騰訊自研了機器學習訓練框架 AngelPTM，針對預訓練、模型精調(diào)和強化學習等全流程進行加速和優(yōu)化：在存儲方面，AngelPTM 計算支持多維度的并行，包括常見的數(shù)據(jù)并行、模型并行、流水并行和序列并行。此外，騰訊在 ZeRO-Cache 的基礎上加入了統(tǒng)一視角技術，通過統(tǒng)一的地址尋址方式把顯存和主存打通，訓練時大量參數(shù)先放到系統(tǒng)…

原文鏈接：點此閱讀原文：騰訊披露最新大模型訓練方法：效率提升至 2.6 倍、可節(jié)省 50% 算力成本

聯(lián)系作者

文章來源：AI前線

作者微信：ai-front

作者簡介：面向AI愛好者、開發(fā)者和科學家，提供AI領域技術資訊、一線業(yè)界實踐案例、搜羅整理業(yè)界技術分享干貨、AI論文解讀。每周一節(jié)技術分享公開課，助力你全面擁抱人工智能技術。