知名AI研究者深挖谷歌Gemma：參數不止70億，設計原則很獨特

AIGC動態歡迎閱讀

原標題：知名AI研究者深挖谷歌Gemma：參數不止70億，設計原則很獨特
關鍵字：報告,模型,權重,線性,參數
文章來源：機器之心
內容字數：4547字

內容摘要：

機器之心報道
編輯：陳萍、杜偉想要了解谷歌 Gemma 與 Llama 2、Mistral 有哪些異同嗎？這篇文章值得一讀。就在幾天前，開源大模型領域迎來了重磅新玩家：谷歌推出了全新的開源模型系列「Gemma」。相比 Gemini，Gemma 更加輕量，同時保持免費可用，模型權重也一并開源了，且允許商用。谷歌發布了包含兩種權重規模的模型：Gemma 2B 和 Gemma 7B。盡管體量較小，但 Gemma 已經「在關鍵基準測試中明顯超越了更大的模型」，包括 Llama-2 7B 和 13B，以及風頭正勁的 Mistral 7B。與此同時，關于 Gemma 的技術報告也一并放出。相信大家已經對 Gemma 的相關內容進行了系統研究，本文知名機器學習與 AI 研究者 Sebastian Raschka 向我們介紹了 Gemma 相比于其他 LLM 的一些獨特設計原則。
Raschka 首先從模型性能展開，他表示看過技術報告的小伙伴可能都有一個疑問，是什么讓 Gemma 表現如此出色？論文中沒有明確說明原因，Sebastian Raschka 認為可以從下面兩點得出結論：
首先是詞匯量大，G

原文鏈接：知名AI研究者深挖谷歌Gemma：參數不止70億，設計原則很獨特

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺