蘋果加入開源大戰(zhàn)，官宣端側(cè)小模型OpenELM！參數(shù)2.7億到30億一臺(tái)M2 Mac可跑

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：蘋果加入開源大戰(zhàn)，官宣端側(cè)小模型OpenELM！參數(shù)2.7億到30億一臺(tái)M2 Mac可跑
關(guān)鍵字：模型,參數(shù),準(zhǔn)確率,微軟,蘋果
文章來源：新智元
內(nèi)容字?jǐn)?shù)：2613字

內(nèi)容摘要：

新智元報(bào)道編輯：桃子
【新智元導(dǎo)讀】開源戰(zhàn)在這半個(gè)月愈演愈烈。先是Llama 3，又到微軟Phi-3，再到今天蘋果發(fā)布的OpenELM。四種不同小參數(shù)版本全部上線，我們離iPhone裝進(jìn)大模型不遠(yuǎn)了。從Llama 3到Phi-3，蹭著開源熱乎勁兒，蘋果也來搞事情了。
今天，蘋果團(tuán)隊(duì)發(fā)布了OpenELM，包含了2.7億、4.5億、11億和30億四個(gè)參數(shù)版本。
與微軟剛剛開源的Phi-3相同，OpenELM是一款專為終端設(shè)備而設(shè)計(jì)的小模型。
論文地址：https://arxiv.org/abs/2404.14619
論文稱，OpenELM使用了「分層縮放」策略，來有效分配Transformer模型每一層參數(shù)，從而提升準(zhǔn)確率。
如下這張圖，一目了然。
在約10億參數(shù)規(guī)模下，OpenELM與OLMo相比，準(zhǔn)確率提高了2.36%，同時(shí)需要的預(yù)訓(xùn)練token減少了2倍。
抱抱臉創(chuàng)始人表示，蘋果加入了AI開源大戰(zhàn)，一口氣在HF中心發(fā)布了四款模型。
OpenELM有多強(qiáng)？OpenELM的誕生，顯然瞄準(zhǔn)了谷歌、三星、微軟這類的競爭對手。
近幾天，微軟開源的Phi-3，在AI社區(qū)引起了不小的反響。
因?yàn)?/p>

原文鏈接：蘋果加入開源大戰(zhàn)，官宣端側(cè)小模型OpenELM！參數(shù)2.7億到30億一臺(tái)M2 Mac可跑

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺(tái)，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。