DeepMind研究成本大起底，一篇ICML論文燒掉1290萬美元

AIGC動態(tài)歡迎閱讀

原標題：DeepMind研究成本大起底，一篇ICML論文燒掉1290萬美元
關鍵字：參數,論文,成本,模型,架構
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊
【新智元導讀】DeepMind最近被ICML 2024接收的一篇論文，完完全全暴露了他們背靠谷歌的「豪橫」。一篇文章預估了這項研究所需的算力和成本，大概是Llama 3預訓練的15%，耗費資金可達12.9M美元。發(fā)一篇頂會論文，需要多少實驗預算？最近，DeepMind發(fā)表了一項研究，對LLM擴大規(guī)模時各種算法和架構細節(jié)，比如參數和優(yōu)化器的選擇，進行了廣泛的實證調查。
這篇論文已被ICML 2024接收。
論文地址：https://arxiv.org/abs/2407.05872
63頁的論文涵蓋了數以萬計的模型，備選方案包括3種優(yōu)化器、4種參數化方案、幾種對齊假設、十多個學習率，以及最高達26.8B的14種參數規(guī)模。
需要進行實驗的4種參數化方案
僅僅聽到這些數字，就不難知道，這項研究必定涉及海量的模型運行實驗。
而有一位忠實讀者，為了測試自己對論文內容的理解，統(tǒng)計了其中進行的所有實驗，并估算出了復現論文的成本。
將所需算力全部加在一起，林林總總，居然達到了驚人的1290萬美元。
考驗基本功的時刻到了，假如你是研究團隊的leader，根據實驗計劃對所需算力和成本

原文鏈接：DeepMind研究成本大起底，一篇ICML論文燒掉1290萬美元