DeepMind研究成本大起底，一篇ICML論文燒掉1290萬美元

AIGC動態(tài)歡迎閱讀

原標題：DeepMind研究成本大起底，一篇ICML論文燒掉1290萬美元
關鍵字：參數(shù),論文,成本,模型,架構
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：喬楊
【新智元導讀】DeepMind最近被ICML 2024接收的一篇論文，完完全全暴露了他們背靠谷歌的「豪橫」。一篇文章預估了這項研究所需的算力和成本，大概是Llama 3預訓練的15%，耗費資金可達12.9M美元。發(fā)一篇頂會論文，需要多少實驗預算？最近，DeepMind發(fā)表了一項研究，對LLM擴大規(guī)模時各種算法和架構細節(jié)，比如參數(shù)和優(yōu)化器的選擇，進行了廣泛的實證調查。
這篇論文已被ICML 2024接收。
論文地址：https://arxiv.org/abs/2407.05872
63頁的論文涵蓋了數(shù)以萬計的模型，備選方案包括3種優(yōu)化器、4種參數(shù)化方案、幾種對齊假設、十多個學習率，以及最高達26.8B的14種參數(shù)規(guī)模。
需要進行實驗的4種參數(shù)化方案
僅僅聽到這些數(shù)字，就不難知道，這項研究必定涉及海量的模型運行實驗。
而有一位忠實讀者，為了測試自己對論文內(nèi)容的理解，統(tǒng)計了其中進行的所有實驗，并估算出了復現(xiàn)論文的成本。
將所需算力全部加在一起，林林總總，居然達到了驚人的1290萬美元。
考驗基本功的時刻到了，假如你是研究團隊的leader，根據(jù)實驗計劃對所需算力和成本

原文鏈接：DeepMind研究成本大起底，一篇ICML論文燒掉1290萬美元

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：