Llama 4訓練已開啟！Meta科學家最新采訪，揭秘Llama 3.1是如何煉成的

AIGC動態歡迎閱讀

原標題：Llama 4訓練已開啟！Meta科學家最新采訪，揭秘Llama 3.1是如何煉成的
關鍵字：模型,基準,數據,論文,架構
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊
【新智元導讀】最近，Latent Space發布的播客節目中請來了Meta的AI科學家Thomas Scialom。他在節目中揭秘了Llama 3.1的一些研發思路，并透露了后續Llama 4的更新方向。剛剛發布的開源「巨無霸」Llama 3.1雖然自帶論文，但依舊激起了廣大網友強烈的好奇心和求知欲。
Llama 3.1都使用了哪些數據？其中有多少合成數據？為什么不使用MoE架構？
后訓練與RLHF流程是如何進行的？模型評估是如何進行的？
我們什么時候可以見到Llama 4？Meta是否會發展agent？
恰逢Llama 3.1剛剛發布，Meta科學家就現身播客節目Latent Space，秉持著開源分享的精神，對以上問題都作出了清晰的回答。
受訪者Thomas Scialom現任Meta的人工智能研究科學家，領導了Llama 2和Llama 3的后訓練，并參加了CodeLlama、Toolformer、Bloom、GAIA等多個項目。
以下是采訪內容的節選。
Llama 3.1研發思路如何決定參數規模其實LLM的參數規模的選擇需要考慮多種因素，包括scalin

原文鏈接：Llama 4訓練已開啟！Meta科學家最新采訪，揭秘Llama 3.1是如何煉成的

聯系作者

文章來源：新智元
作者微信：
作者簡介：