陳丹琦團隊新作：5%成本拿下SOTA，“羊駝剪毛”火了

AIGC動態歡迎閱讀

原標題：陳丹琦團隊新作：5%成本拿下SOTA，“羊駝剪毛”火了

關鍵字：模型,表示,數據,團隊,規模

文章來源：量子位

內容字數：3618字

內容摘要：夢晨 發自 凹非寺量子位 | 公眾號 QbitAI只用3%的計算量、5%的成本取得SOTA，統治了1B-3B規模的開源大模型。這一成果來自普林斯頓陳丹琦團隊，名為LLM-Shearing大模型剪枝法。以羊駝LLaMA 2 7B為基礎，通過定向結構化剪枝得到1.3B和3B剪枝后的Sheared-LLama模型。分別在下游任務評估上超越之前的同等規模模型。一作夏夢舟表示，“比從頭開始預訓練劃算很多”?！?/p>

原文鏈接：點此閱讀原文：陳丹琦團隊新作：5%成本拿下SOTA，“羊駝剪毛”火了

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破