擊敗GPT-4o的開源模型如何煉成？關于Llama 3.1 405B，Meta都寫在這篇論文里了

AIGC動態歡迎閱讀

原標題：擊敗GPT-4o的開源模型如何煉成？關于Llama 3.1 405B，Meta都寫在這篇論文里了
關鍵字：模型,論文,上下文,系列,數據
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
機器之心編輯部經歷了提前兩天的「意外泄露」之后，Llama 3.1 終于在昨夜由官方正式發布了。
Llama 3.1 將上下文長度擴展到了 128K，擁有 8B、70B 和 405B 三個版本，再次以一已之力抬高了大模型賽道的競爭標準。
對 AI 社區來說，Llama 3.1 405B 最重要的意義是刷新了開源基礎模型的能力上限，Meta 官方稱，在一系列任務中，其性能可與最好的閉源模型相媲美。
下表展示了當前 Llama 3 系列模型在關鍵基準測試上的性能。可以看出，405B 模型的性能與 GPT-4o 十分接近。與此同時，Meta 公布了《The Llama 3 Herd of Models》論文，揭示了 Llama 3 系列模型迄今為止的研究細節。論文地址：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
接下來，讓我們看一下論文內容。
Llama3 論文亮點
1、在使用 8K 上下文長度進行預訓練后，Llama 3.1 405B 使用 128K 上下文長度進行連續訓練，且支持

原文鏈接：擊敗GPT-4o的開源模型如何煉成？關于Llama 3.1 405B，Meta都寫在這篇論文里了

聯系作者

文章來源：機器之心
作者微信：
作者簡介：