僅微調0.02%參數，性能接近全量微調！上交大推出高效微調統一新范式

AIGC動態歡迎閱讀

原標題：僅微調0.02%參數，性能接近全量微調！上交大推出高效微調統一新范式
關鍵字：空間,方法,權重,矩陣,研究者
文章來源：量子位
內容字數：0字

內容摘要：

ChouJay 投稿量子位 | 公眾號 QbitAIScaling Laws當道，但隨著大模型應用的發展，基礎模型不斷擴大的參數也成了令開發者們頭疼的問題。
為了減輕訓練負擔，Adapter、Prompt-Tuning以及LoRA等高效微調（Parameter Efficient Fine-Tuning, PEFT）算法越來越受到大家伙的青睞。
那么，問題來了——
盡管近年來高效微調領域發展迅速，涌現了多種方法，但不同PEFT方法背后的數學基礎幾乎沒有得到深入研究。
此外，不同PEFT方法之間的性能差異及其原因尚未系統地探討。這種理論深度的缺乏限制了研究者對這些方法潛在優勢和局限性的理解，阻礙了它們在實際應用中的優化和創新。
為了解決這一問題，來自上海交通大學的研究者們在對各種PEFT方法進行全面數學分析后，提出了一種新的框架——子空間微調，旨在將所有已知的PEFT方法統一在一個理論下，
具體來說，子空間微調方法主要集中于調整原始參數的子空間，涉及子空間的重構和擴展。研究者深入探討了不同方法如何操作子空間，并從分解理論的角度闡明了每種方法的數學原理。此外，研究者分析了為什么這些方導

原文鏈接：僅微調0.02%參數，性能接近全量微調！上交大推出高效微調統一新范式