LLaMA微調顯存需求減半，清華提出4比特優化器

AIGC動態歡迎閱讀

原標題：LLaMA微調顯存需求減半，清華提出4比特優化器

關鍵字：張量,狀態,顯存,精度,模型

文章來源：機器之心

內容字數：8553字

內容摘要：機器之心專欄作者：李炳睿大模型的訓練和微調對顯存要求很高，優化器狀態是顯存主要開銷之一。近日，清華大學朱軍、陳鍵飛團隊提出了用于神經網絡訓練的 4 比特優化器，節省了模型訓練的內存開銷，同時能達到與全精度優化器相當的準確率。4 比特優化器在眾多預訓練和微調任務上進行了實驗，在保持準確率無損的情況下可將微調 LLaMA-7B 的顯存開銷降低多達 57%。論文：https://arxiv.org/ab…

原文鏈接：點此閱讀原文：LLaMA微調顯存需求減半，清華提出4比特優化器

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺