英偉達(dá)玩轉(zhuǎn)剪枝、蒸餾：把Llama 3.1 8B參數(shù)減半，性能同尺寸更強(qiáng)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：英偉達(dá)玩轉(zhuǎn)剪枝、蒸餾：把Llama 3.1 8B參數(shù)減半，性能同尺寸更強(qiáng)
關(guān)鍵字：模型,準(zhǔn)確率,重要性,損失,深度
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：杜偉、陳陳、澤南小模型崛起了。上個(gè)月，Meta 發(fā)布了 Llama 3.1 系列模型，其中包括 Meta 迄今為止最大的 405B 模型，以及兩個(gè)較小的模型，參數(shù)量分別為 700 億和 80 億。
Llama 3.1 被認(rèn)為是引領(lǐng)了開源新時(shí)代。然而，新一代的模型雖然性能強(qiáng)大，但部署時(shí)仍需要大量計(jì)算資源。
因此，業(yè)界出現(xiàn)了另一種趨勢(shì)，即開發(fā)小型語(yǔ)言模型 (SLM)，這種模型在許多語(yǔ)言任務(wù)中表現(xiàn)足夠出色，部署起來也非常便宜。
最近，英偉達(dá)研究表明，結(jié)構(gòu)化權(quán)重剪枝與知識(shí)蒸餾相結(jié)合，可以從初始較大的模型中逐步獲得較小的語(yǔ)言模型。圖靈獎(jiǎng)得主、Meta 首席 AI 科學(xué)家 Yann LeCun 也點(diǎn)贊轉(zhuǎn)帖了該研究。
經(jīng)過剪枝和蒸餾，英偉達(dá)研究團(tuán)隊(duì)將 Llama 3.1 8B 提煉為 Llama-3.1-Minitron 4B 開源了出來。這是英偉達(dá)在 Llama 3.1 開源系列中的第一個(gè)作品。
Llama-3.1-Minitron 4B 的表現(xiàn)優(yōu)于類似大小的最先進(jìn)的開源模型，包括 Minitron 4B、Phi-2 2.7B、Gemma2 2.6B 和 Qwen2-1.5B。

原文鏈接：英偉達(dá)玩轉(zhuǎn)剪枝、蒸餾：把Llama 3.1 8B參數(shù)減半，性能同尺寸更強(qiáng)

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：