ICML 2024高分論文 | 零階優化器微調大模型，大幅降低內存

AIGC動態歡迎閱讀

原標題：ICML 2024高分論文 | 零階優化器微調大模型，大幅降低內存
關鍵字：梯度,模型,內存,方法,任務
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文共同第一作者簡介：張逸驊：密歇根州立大學計算機系博士三年級學生，師從Sijia Liu教授，主要研究方向是大模型的安全、隱私和效率問題。李平治：本科畢業于中國科學技術大學，將于2024 Fall博士入學北卡羅來納大學教堂山分校，師從陳天龍教授，主要研究興趣集中在高效機器學習和AI4Science領域。洪駿遠：德州大學奧斯汀分校博后，導師是Zhangyang Wang教授。博士畢業于密歇根州立大學，師從Jiayu Zhou教授，目前主要的研究方向是可信大語言模型和人工智能的醫療應用。李佳翔：明尼蘇達大學博士后，目前在洪明毅教授和張樹中教授指導下做數值優化理論、機器學習理論和大規模機器學習優化問題的研究。
開源大語言模型（LLM）百花齊放，為了讓它們適應各種下

原文鏈接：ICML 2024高分論文 | 零階優化器微調大模型，大幅降低內存