ICML 2024 | 脫離LoRA架構(gòu)，訓(xùn)練參數(shù)大幅減少，新型傅立葉微調(diào)來了

AIGC動態(tài)1年前 (2024)發(fā)布機(jī)器之心

AIGC動態(tài)歡迎閱讀

原標(biāo)題：ICML 2024 | 脫離LoRA架構(gòu)，訓(xùn)練參數(shù)大幅減少，新型傅立葉微調(diào)來了
關(guān)鍵字：傅立葉,自然語言,模型,方法,參數(shù)
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：4289字

內(nèi)容摘要：

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報(bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報(bào)道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文介紹了香港科技大學(xué)（廣州）的一篇關(guān)于大模型高效微調(diào)（LLM PEFT Fine-tuning）的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」，本文被 ICML 2024 接收，代碼已開源。論文地址：https://arxiv.org/abs/2405.03003
項(xiàng)目地址：https://github.com/Chaos96/fourierft
背景
大型基座模型在自然語言處理（NLP）和計(jì)算機(jī)視覺（CV）領(lǐng)域都獲得了矚目的成就。微調(diào)（Finetuning）大型基座模型，使其更加適應(yīng)特殊的下游任務(wù)，成為了一項(xiàng)熱門研究課題。然而，在模型越來越大，下游任務(wù)越來越多樣的今天

原文鏈接：ICML 2024 | 脫離LoRA架構(gòu)，訓(xùn)練參數(shù)大幅減少，新型傅立葉微調(diào)來了