AIGC動態歡迎閱讀
原標題:用FP8訓練大模型有多香?微軟:比BF16快64%,省42%內存
文章來源:機器之心
內容字數:8552字
內容摘要:機器之心報道編輯:Panda低精度訓練是大模型訓練中擴展模型大小,節約訓練成本的最關鍵技術之一。相比于當前的 16 位和 32 位浮點混合精度訓練,使用 FP8 8 位浮點混合精度訓練能帶來 2 倍的速度提升,節省 50% – 75% 的顯存和 50% – 75% 的通信成本,而且英偉達最新一代卡皇 H100 自帶良好的 FP8 硬件支持。但目前業界大模型訓練框架對 FP8 訓練的支持還非常有限。…
原文鏈接:點此閱讀原文:用FP8訓練大模型有多香?微軟:比BF16快64%,省42%內存
聯系作者
文章來源:機器之心
作者微信:almosthuman2014
作者簡介:專業的人工智能媒體和產業服務平臺
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...