AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：卷瘋了！最強(qiáng)開源大模型Llama 3發(fā)布，最大參數(shù)4000億，小扎內(nèi)心：大模型比元宇宙香多了
關(guān)鍵字：模型,小米,字節(jié)跳動(dòng),人工智能,數(shù)據(jù)
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：10898字

內(nèi)容摘要：

作者| 冬梅
Meta 首席執(zhí)行官馬克·扎克伯格在聲明中表示：“我們相信 Meta AI 現(xiàn)在是您可以使用的最智能的人工智能助手。”
北京時(shí)間 4 月 19 日，Meta 官宣發(fā)布了其最先進(jìn)開源大型語(yǔ)言模型的下一代產(chǎn)品——Llama 3。
據(jù)悉，Llama 3 在 24K GPU 集群上訓(xùn)練，使用了 15T 的數(shù)據(jù)，提供了 80 億和 700 億的預(yù)訓(xùn)練和指令微調(diào)版本。
Meta 在官方博客中表示，“得益于預(yù)訓(xùn)練和后訓(xùn)練的改進(jìn)，我們的預(yù)訓(xùn)練和指令微調(diào)模型是目前 80 億 和 700 億 參數(shù)尺度下最好的模型。”最大 4000 億參數(shù)，性能直逼 GPT-4值得注意的是，此次的大模型通過后期訓(xùn)練程序上的改進(jìn)很大程度上降低了 Llama 3 的錯(cuò)誤拒絕率，提高了對(duì)齊度，并增加了模型響應(yīng)的多樣性。Meta 研發(fā)團(tuán)隊(duì)還發(fā)現(xiàn)，推理、代碼生成和指令跟隨等能力也有了很大提高，這使得 Llama 3 的可操控性更強(qiáng)。
80 億參數(shù)模型與 Gemma 7B 和 Mistral 7B Instruct 等模型相比在 MMLU、GPQA、HumanEval 等多項(xiàng)基準(zhǔn)上均有更好表現(xiàn)。而 700 億參數(shù)模型

原文鏈接：卷瘋了！最強(qiáng)開源大模型Llama 3發(fā)布，最大參數(shù)4000億，小扎內(nèi)心：大模型比元宇宙香多了

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：ai-front
作者簡(jiǎn)介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。