ICML 2024 | 脫離LoRA架構，訓練參數大幅減少，新型傅立葉微調來了

AIGC動態歡迎閱讀

原標題：ICML 2024 | 脫離LoRA架構，訓練參數大幅減少，新型傅立葉微調來了
關鍵字：傅立葉,自然語言,模型,方法,參數
文章來源：機器之心
內容字數：4289字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文介紹了香港科技大學（廣州）的一篇關于大模型高效微調（LLM PEFT Fine-tuning）的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」，本文被 ICML 2024 接收，代碼已開源。論文地址：https://arxiv.org/abs/2405.03003
項目地址：https://github.com/Chaos96/fourierft
背景
大型基座模型在自然語言處理（NLP）和計算機視覺（CV）領域都獲得了矚目的成就。微調（Finetuning）大型基座模型，使其更加適應特殊的下游任務，成為了一項熱門研究課題。然而，在模型越來越大，下游任務越來越多樣的今天

原文鏈接：ICML 2024 | 脫離LoRA架構，訓練參數大幅減少，新型傅立葉微調來了

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺