AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：性能對(duì)標(biāo)Llama 3，算力消耗僅1/19！源2.0-M32大幅提升模算效率
關(guān)鍵字：模型,浪潮,企業(yè),信息,專家
文章來(lái)源：智東西
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

模更強(qiáng)，算更優(yōu)！集成32個(gè)專家、模算效率大幅提升，浪潮信息讓大模型應(yīng)用火力全開(kāi)。
作者|程茜
編輯|漠影
智東西5月28日?qǐng)?bào)道，今天，浪潮信息發(fā)布基于MoE的源2.0-M32開(kāi)源大模型，全面開(kāi)源且支持免費(fèi)可商用，全系列模型參數(shù)和代碼均可免費(fèi)下載使用。源2.0-M32采用基于注意力機(jī)制的門(mén)控網(wǎng)絡(luò)技術(shù)，包含32個(gè)專家模塊，參數(shù)量為400億，模型運(yùn)行時(shí)激活參數(shù)為37億。同時(shí)，該模型在模型性能全面對(duì)標(biāo)700億參數(shù)規(guī)模Llama 3的同時(shí)，訓(xùn)練、微調(diào)、推理過(guò)程中的算力開(kāi)銷顯著低于業(yè)界的頭部開(kāi)源模型Llama3-70B，源2.0-M32單Token下訓(xùn)練和推理所需的算力資源僅為L(zhǎng)lama3-70B的1/19。
在模型推理運(yùn)行階段，源2.0-M32處理每Token所需算力為7.4GFLOPs，Llama3-70B所需算力為140GFLOPs。
在模型微調(diào)訓(xùn)練階段，對(duì)1萬(wàn)條平均長(zhǎng)度為1024 Token的樣本進(jìn)行全量微調(diào)，M32消耗算力為0.0026PD（PetaFLOPs/s-day），Llama3-70B為0.05PD。
可以看出，源2.0-M32正在提升模型性能與降低算力消耗上齊頭并進(jìn)，成為浪潮

原文鏈接：性能對(duì)標(biāo)Llama 3，算力消耗僅1/19！源2.0-M32大幅提升模算效率

聯(lián)系作者

文章來(lái)源：智東西
作者微信：zhidxcom
作者簡(jiǎn)介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來(lái)的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。