陳丹琦團(tuán)隊(duì)新作：5%成本拿下SOTA，“羊駝剪毛”火了

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：陳丹琦團(tuán)隊(duì)新作：5%成本拿下SOTA，“羊駝剪毛”火了

關(guān)鍵字：模型,表示,數(shù)據(jù),團(tuán)隊(duì),規(guī)模

文章來源：量子位

內(nèi)容字?jǐn)?shù)：3618字

內(nèi)容摘要：夢(mèng)晨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI只用3%的計(jì)算量、5%的成本取得SOTA，統(tǒng)治了1B-3B規(guī)模的開源大模型。這一成果來自普林斯頓陳丹琦團(tuán)隊(duì)，名為LLM-Shearing大模型剪枝法。以羊駝LLaMA 2 7B為基礎(chǔ)，通過定向結(jié)構(gòu)化剪枝得到1.3B和3B剪枝后的Sheared-LLama模型。分別在下游任務(wù)評(píng)估上超越之前的同等規(guī)模模型。一作夏夢(mèng)舟表示，“比從頭開始預(yù)訓(xùn)練劃算很多”。…

原文鏈接：點(diǎn)此閱讀原文：陳丹琦團(tuán)隊(duì)新作：5%成本拿下SOTA，“羊駝剪毛”火了

聯(lián)系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破