小扎自曝砸重金訓(xùn)Llama 4，24萬塊GPU齊發(fā)力！預(yù)計(jì)2025年發(fā)布

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：小扎自曝砸重金訓(xùn)Llama 4，24萬塊GPU齊發(fā)力！預(yù)計(jì)2025年發(fā)布
關(guān)鍵字：元宇宙,報(bào)告,美元,模型,集群
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：桃子
【新智元導(dǎo)讀】沒想到，多模態(tài)Llama 4已經(jīng)緊鑼密鼓地開始訓(xùn)練中了。小扎表示，將投入Llama 3的十倍計(jì)算量訓(xùn)練模型，預(yù)計(jì)2025年發(fā)布。他不惜重金購買GPU，就是害怕為時(shí)已晚。Llama 3.1剛發(fā)布不久，Llama 4已完全投入訓(xùn)練中。
這幾天，小扎在二季度財(cái)報(bào)會(huì)上稱，Meta將用Llama 3的十倍計(jì)算量，訓(xùn)練下一代多模態(tài)Llama 4，預(yù)計(jì)在2025年發(fā)布。
這筆賬單，老黃又成為最大贏家
十倍計(jì)算量，是什么概念？
要知道，Llama 3是在兩個(gè)擁有24,000塊GPU集群完成訓(xùn)練。也就是說，Llama 4訓(xùn)練要用24萬塊GPU。那么，Meta存貨還夠不夠？
還記得小扎曾在年初宣布，計(jì)劃到年底要部署35萬塊英偉達(dá)H100。
他還透露了更多的細(xì)節(jié)，Meta內(nèi)部將為訓(xùn)練LLM打造兩個(gè)單集群，一個(gè)配備22,000塊H100，另一個(gè)集群配備24,000塊。
有網(wǎng)友曾回顧了Llama模型迭代過程中，GPU的用量如何增長的：
Llama 1：2048塊GPU
Llama 2：4096塊GPU
Llama 3.1：16384塊GPU
或斥資400億美金，小扎不愿為時(shí)

原文鏈接：小扎自曝砸重金訓(xùn)Llama 4，24萬塊GPU齊發(fā)力！預(yù)計(jì)2025年發(fā)布