單張A100全精度推理！谷歌明星開源模型Gemma 2上新9B/27B，挑戰3140億Grok-1

AIGC動態歡迎閱讀

原標題：單張A100全精度推理！谷歌明星開源模型Gemma 2上新9B/27B，挑戰3140億Grok-1
關鍵字：模型,報告,注意力,性能,高效
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：耳朵
【新智元導讀】昨晚，谷歌正式開源了自家最強的開源模型Gemma 2，直指為全球范圍研究開發者提供實用部署工具。就在昨晚，谷歌的明星開源大模型系列，又迎來兩位新成員——Gemma 2 9B和Gemma 2 27B！
四個月前谷歌宣布重磅開源Gemma，四個月后Gemma 2上線，專門面向研究和開發人員。
目前，模型權重已經在HuggingFace上公開。
項目地址：https://huggingface.co/collections/google/gemma-2-release-667d6600fd5220e7b967f315
Gemma 2的核心亮點概括來說就是：參數雖小但性能極佳。
而且，27B模型甚至可在單張谷歌云TPU、英偉達A100 80GB GPU或英偉達H100 GPU上，以全精度高效運行推理。
高效新模型的誕生Gemma 2在設計的架構上均有創新，旨在實現卓越的性能和提高推理效率。
在技術報告中，Gemma 2最引人注目的三大創新優勢在于：
首先，性能遠超同同等規模模型。
Gemma 2 27B在同類產品中性能最佳，甚至能挑戰規模更大的模型。
Ge

原文鏈接：單張A100全精度推理！谷歌明星開源模型Gemma 2上新9B/27B，挑戰3140億Grok-1