ICML 2024 | 梯度檢查點太慢？不降速、省顯存，LowMemoryBP大幅提升反向傳播顯存效率

AIGC動態歡迎閱讀

原標題：ICML 2024 | 梯度檢查點太慢？不降速、省顯存，LowMemoryBP大幅提升反向傳播顯存效率
關鍵字：顯存,函數,模型,南開大學,理論
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文論文一作是南開大學統計與數據科學學院研二碩士生楊雨辰，指導老師為南開大學統計與數據科學學院的徐君副教授。徐君老師團隊的研究重點是計算機視覺、生成式 AI 和高效機器學習，并在頂級會議和期刊上發表了多篇論文，谷歌學術引用超過 4700 次。
自從大型 Transformer 模型逐漸成為各個領域的統一架構，微調就成為了將預訓練大模型應用到下游任務的重要手段。然而，由于模型的尺寸日益增大，微調所需要的顯存也逐漸增加，如何高效地降低微調顯存就成了一個重要的問題。此前，微調 Transformer 模型時，為了節省顯存開銷，通常的做法是使用梯度檢查點（gradient checkpointing，也叫作激活重算），以犧牲訓練速度為代價降低反向傳播（Backprop

原文鏈接：ICML 2024 | 梯度檢查點太慢？不降速、省顯存，LowMemoryBP大幅提升反向傳播顯存效率

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺