一行代碼提高大模型10%性能，開發者：免費午餐

AIGC動態歡迎閱讀

原標題：一行代碼提高大模型10%性能，開發者：免費午餐

關鍵字：模型,噪聲,性能,數據,文本

文章來源：量子位

內容字數：4620字

內容摘要：克雷西 發自 凹非寺量子位 | 公眾號 QbitAI大模型微調有“免費的午餐”了，只要一行代碼就能讓性能提升至少10%。在7B參數量的Llama 2上甚至出現了性能翻倍的結果，Mistral也有四分之一的增長。雖然這種方法用在監督微調階段，但RLHF模型也能從中受益。來自馬里蘭州大學、紐約大學等機構的研究人員提出了名為NEFT(une)的微調方式。這是一種新的正則化技術，可以用于提高微調監督（SF…

原文鏈接：點此閱讀原文：一行代碼提高大模型10%性能，開發者：免費午餐

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破