清華提出 SoRA，參數量只有 LoRA 的 70%，表現更好！

AIGC動態歡迎閱讀

原標題：清華提出 SoRA，參數量只有 LoRA 的 70%，表現更好！

關鍵字：模型,參數,正則,梯度,矩陣

文章來源：夕小瑤科技說

內容字數：9507字

內容摘要：夕小瑤科技說 原創作者 | 智商掉了一地、Python現在有很多關于大型語言模型（LLM）的研究，都圍繞著如何高效微調展開。微調是利用模型在大規模通用數據上學到的知識，通過有針對性的小規模下游任務數據，使模型更好地適應具體任務的訓練方法。在先前的工作中，全量微調的訓練代價昂貴、Adapter Tuning 的訓練和推理存在延遲，Prefix Tuning 會減少原始訓練數據中的有效文字長度，因此有人提出使用低秩微調 LoRA，在原始預訓練矩陣的旁路上，用低秩矩陣 A 和 B 來近似替代增量更新。近期，又有了新方法助力大型語言模型更高效地適應任務！來自清華的研究團隊在 LoRA 的基礎上，提出了一項名為 Sparse Low-Rank Adaptation（SoRA）的創新微調方法，通過動態調整內在秩，實現了對預訓練模型的高效微調。SoRA 不僅在多項任務上取得了令人矚目的性能，而且通過稀疏…

原文鏈接：點此閱讀原文：清華提出 SoRA，參數量只有 LoRA 的 70%，表現更好！

聯系作者

文章來源：夕小瑤科技說

作者微信：xixiaoyaoQAQ

作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI應用開發者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯網大廠，兼備媒體sense與技術深度。