卷瘋了！最強開源大模型Llama 3發布，最大參數4000億，小扎內心：大模型比元宇宙香多了

AIGC動態歡迎閱讀

原標題：卷瘋了！最強開源大模型Llama 3發布，最大參數4000億，小扎內心：大模型比元宇宙香多了
關鍵字：模型,小米,字節跳動,人工智能,數據
文章來源：AI前線
內容字數：10898字

內容摘要：

作者| 冬梅
Meta 首席執行官馬克·扎克伯格在聲明中表示：“我們相信 Meta AI 現在是您可以使用的最智能的人工智能助手。”
北京時間 4 月 19 日，Meta 官宣發布了其最先進開源大型語言模型的下一代產品——Llama 3。
據悉，Llama 3 在 24K GPU 集群上訓練，使用了 15T 的數據，提供了 80 億和 700 億的預訓練和指令微調版本。
Meta 在官方博客中表示，“得益于預訓練和后訓練的改進，我們的預訓練和指令微調模型是目前 80 億 和 700 億 參數尺度下最好的模型。”最大 4000 億參數，性能直逼 GPT-4值得注意的是，此次的大模型通過后期訓練程序上的改進很大程度上降低了 Llama 3 的錯誤拒絕率，提高了對齊度，并增加了模型響應的多樣性。Meta 研發團隊還發現，推理、代碼生成和指令跟隨等能力也有了很大提高，這使得 Llama 3 的可操控性更強。
80 億參數模型與 Gemma 7B 和 Mistral 7B Instruct 等模型相比在 MMLU、GPQA、HumanEval 等多項基準上均有更好表現。而 700 億參數模型

原文鏈接：卷瘋了！最強開源大模型Llama 3發布，最大參數4000億，小扎內心：大模型比元宇宙香多了

聯系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。