NeurIPS 2024 Oral | 小參數，大作為！揭秘非對稱 LoRA 架構的高效性能

AIGC動態歡迎閱讀

原標題：NeurIPS 2024 Oral | 小參數，大作為！揭秘非對稱 LoRA 架構的高效性能
關鍵字：矩陣,任務,參數,領域,組件
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com這篇論文剛剛中稿 NeurIPS Oral（64/15671 =0.4%），作者分別來自澳門大學、德克薩斯大學奧斯汀分校以及劍橋大學。其中，第一作者田春霖是澳門大學計算機系的三年級博士生，研究方向涉及 MLSys 和高效大語言模型。師從栗力、須成忠教授。
大型語言模型（LLMs）雖然在適應新任務方面取得了長足進步，但它們仍面臨著巨大的計算資源消耗，尤其在復雜領域的表現往往不盡如人意。為了緩解這一問題，業界提出了多種參數高效微調（PEFT）方法，例如 LoRA。然而，LoRA 在面對復雜數據集時，總是難以與全參數微調的表現相媲美，尤其當任務之間充滿多樣性時，效果更是大打折扣。
為了突破這一瓶頸，來自澳門大學、德克薩斯大學奧斯汀分校以及劍橋大學的研究者聯合提出了一

原文鏈接：NeurIPS 2024 Oral | 小參數，大作為！揭秘非對稱 LoRA 架構的高效性能

聯系作者

文章來源：機器之心
作者微信：
作者簡介：