單張A100全精度推理!谷歌明星開源模型Gemma 2上新9B/27B,挑戰(zhàn)3140億Grok-1
AIGC動態(tài)歡迎閱讀
原標(biāo)題:單張A100全精度推理!谷歌明星開源模型Gemma 2上新9B/27B,挑戰(zhàn)3140億Grok-1
關(guān)鍵字:模型,報告,注意力,性能,高效
文章來源:新智元
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
新智元報道編輯:耳朵
【新智元導(dǎo)讀】昨晚,谷歌正式開源了自家最強(qiáng)的開源模型Gemma 2,直指為全球范圍研究開發(fā)者提供實用部署工具。就在昨晚,谷歌的明星開源大模型系列,又迎來兩位新成員——Gemma 2 9B和Gemma 2 27B!
四個月前谷歌宣布重磅開源Gemma,四個月后Gemma 2上線,專門面向研究和開發(fā)人員。
目前,模型權(quán)重已經(jīng)在HuggingFace上公開。
項目地址:https://huggingface.co/collections/google/gemma-2-release-667d6600fd5220e7b967f315
Gemma 2的核心亮點概括來說就是:參數(shù)雖小但性能極佳。
而且,27B模型甚至可在單張谷歌云TPU、英偉達(dá)A100 80GB GPU或英偉達(dá)H100 GPU上,以全精度高效運行推理。
高效新模型的誕生Gemma 2在設(shè)計的架構(gòu)上均有創(chuàng)新,旨在實現(xiàn)卓越的性能和提高推理效率。
在技術(shù)報告中,Gemma 2最引人注目的三大創(chuàng)新優(yōu)勢在于:
首先,性能遠(yuǎn)超同同等規(guī)模模型。
Gemma 2 27B在同類產(chǎn)品中性能最佳,甚至能挑戰(zhàn)規(guī)模更大的模型。
Ge
原文鏈接:單張A100全精度推理!谷歌明星開源模型Gemma 2上新9B/27B,挑戰(zhàn)3140億Grok-1
聯(lián)系作者
文章來源:新智元
作者微信:AI_era
作者簡介:智能+中國主平臺,致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展,關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響,領(lǐng)航中國新智能時代。