1塊3090就能訓7B大模型，山東大學低帶寬低顯存訓練法，解決顯卡限購卡脖子

AIGC動態歡迎閱讀

原標題：1塊3090就能訓7B大模型，山東大學低帶寬低顯存訓練法，解決顯卡限購卡脖子
關鍵字：參數,神經元,性能,方法,模型
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 謝年年
大模型的全參數微調對資源要求非常高，當前業界更傾向于采用LoRA，Parallel Adapter等參數高效微調（PEFT）方法，通過添加只占用LLMs全部參數很小部分（例如，0.1%）的可訓練模塊，損失小部分精度以換取低資源高效率的微調。
但對于問答（QA）等知識密集型任務來說，當可訓練參數受限時，性能下降較為顯著。如下圖所示，相比全參數微調，其他PEFT方法下降10%左右。
但我們也從中發現，在Parallel Adapter中隨著適配器參數數量的增加，答案準確率呈現出明顯的上升趨勢。大約需要更新10%的參數，可以達到全量微調的性能。但這一方案需要遠超24G的GPU內存支持，這在實際應用中仍然面臨較高的資源成本。
今天我們介紹一篇來自山東大學的研究，在可訓練參數增加的同時顯著降低了GPU內存使用，可實現僅需1塊3090（24G）訓練7B大模型。并且在保持相近性能的同時，相比其他PEFT方法，內存占用率下降了50%。
論文標題:MEFT: Memory-Efficient Fine-Tuning through Sparse Adapter
論文鏈

原文鏈接：1塊3090就能訓7B大模型，山東大學低帶寬低顯存訓練法，解決顯卡限購卡脖子

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189