挑戰(zhàn)Scaling Law，Meta發(fā)布移動(dòng)端350M小模型MobileLLM，性能比肩7B LLaMA-v2

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：挑戰(zhàn)Scaling Law，Meta發(fā)布移動(dòng)端350M小模型MobileLLM，性能比肩7B LLaMA-v2
關(guān)鍵字：模型,參數(shù),架構(gòu),性能,論文
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：?jiǎn)虠?br />【新智元導(dǎo)讀】Scaling Law還沒走到盡頭，「小模型」逐漸成為科技巨頭們的追趕趨勢(shì)。Meta最近發(fā)布的MobileLLM系列，規(guī)模甚至降低到了1B以下，兩個(gè)版本分別只有125M和350M參數(shù)，但卻實(shí)現(xiàn)了比更大規(guī)模模型更優(yōu)的性能。從5月和6月幾家科技巨頭的發(fā)布會(huì)中，我們已經(jīng)能隱隱感受到AI的一個(gè)重要發(fā)展趨勢(shì)：從云數(shù)據(jù)中心走向個(gè)人用戶，從大型服務(wù)器走向筆記本和移動(dòng)設(shè)備。
遵循Scaling Law已經(jīng)不再是唯一的路徑，模型「以小搏大」的故事不斷上演。
先有微軟更新Phi系列小模型，一個(gè)樹莓派即可運(yùn)行RAG；后有谷歌用27B參數(shù)Gemma 2力壓70B的Llama 3。
硬件方面，我們看到了AI功能逐漸與電子產(chǎn)品進(jìn)行深度集成。
比如微軟臭名昭著的Recall功能，正是他們AI+PC戰(zhàn)略的重要組成部分；蘋果也在Apple Intelligence的大旗下推出用于3B小模型，力求與iOS無縫銜接。
如今LLM的參數(shù)量動(dòng)輒上百億，蘋果3B的參數(shù)量已經(jīng)顯得十分迷你，但對(duì)手機(jī)這種移動(dòng)設(shè)備來說依舊有很高門檻。
不僅用2-bit和4-bit混合精度壓縮模型（平均每個(gè)權(quán)重3.5

原文鏈接：挑戰(zhàn)Scaling Law，Meta發(fā)布移動(dòng)端350M小模型MobileLLM，性能比肩7B LLaMA-v2