ICML 2024高分論文 | 零階優(yōu)化器微調(diào)大模型，大幅降低內(nèi)存

AIGC動態(tài)1年前 (2024)發(fā)布機器之心

AIGC動態(tài)歡迎閱讀

原標題：ICML 2024高分論文 | 零階優(yōu)化器微調(diào)大模型，大幅降低內(nèi)存
關鍵字：梯度,模型,內(nèi)存,方法,任務
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

AIxiv專欄是機器之心發(fā)布學術、技術內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文共同第一作者簡介：張逸驊：密歇根州立大學計算機系博士三年級學生，師從Sijia Liu教授，主要研究方向是大模型的安全、隱私和效率問題。李平治：本科畢業(yè)于中國科學技術大學，將于2024 Fall博士入學北卡羅來納大學教堂山分校，師從陳天龍教授，主要研究興趣集中在高效機器學習和AI4Science領域。洪駿遠：德州大學奧斯汀分校博后，導師是Zhangyang Wang教授。博士畢業(yè)于密歇根州立大學，師從Jiayu Zhou教授，目前主要的研究方向是可信大語言模型和人工智能的醫(yī)療應用。李佳翔：明尼蘇達大學博士后，目前在洪明毅教授和張樹中教授指導下做數(shù)值優(yōu)化理論、機器學習理論和大規(guī)模機器學習優(yōu)化問題的研究。
開源大語言模型（LLM）百花齊放，為了讓它們適應各種下

原文鏈接：ICML 2024高分論文 | 零階優(yōu)化器微調(diào)大模型，大幅降低內(nèi)存