LLaMA微調顯存需求減半,清華提出4比特優(yōu)化器

AIGC動態(tài)歡迎閱讀
原標題:LLaMA微調顯存需求減半,清華提出4比特優(yōu)化器
文章來源:機器之心
內容字數:8553字
內容摘要:機器之心專欄作者:李炳睿大模型的訓練和微調對顯存要求很高,優(yōu)化器狀態(tài)是顯存主要開銷之一。近日,清華大學朱軍、陳鍵飛團隊提出了用于神經網絡訓練的 4 比特優(yōu)化器,節(jié)省了模型訓練的內存開銷,同時能達到與全精度優(yōu)化器相當的準確率。4 比特優(yōu)化器在眾多預訓練和微調任務上進行了實驗,在保持準確率無損的情況下可將微調 LLaMA-7B 的顯存開銷降低多達 57%。論文:https://arxiv.org/ab…
原文鏈接:點此閱讀原文:LLaMA微調顯存需求減半,清華提出4比特優(yōu)化器
聯系作者
文章來源:機器之心
作者微信:almosthuman2014
作者簡介:專業(yè)的人工智能媒體和產業(yè)服務平臺
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...

粵公網安備 44011502001135號