LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

AIGC動態(tài)歡迎閱讀

原標題：LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

關(guān)鍵字：張量,狀態(tài),顯存,精度,模型

文章來源：機器之心

內(nèi)容字數(shù)：8553字

內(nèi)容摘要：機器之心專欄作者：李炳睿大模型的訓(xùn)練和微調(diào)對顯存要求很高，優(yōu)化器狀態(tài)是顯存主要開銷之一。近日，清華大學(xué)朱軍、陳鍵飛團隊提出了用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的 4 比特優(yōu)化器，節(jié)省了模型訓(xùn)練的內(nèi)存開銷，同時能達到與全精度優(yōu)化器相當?shù)臏蚀_率。4 比特優(yōu)化器在眾多預(yù)訓(xùn)練和微調(diào)任務(wù)上進行了實驗，在保持準確率無損的情況下可將微調(diào) LLaMA-7B 的顯存開銷降低多達 57%。論文：https://arxiv.org/ab…

原文鏈接：點此閱讀原文：LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺