DeepMind新方法：訓(xùn)練時間減少13倍，算力降低90%

AIGC動態(tài)歡迎閱讀

原標(biāo)題：DeepMind新方法：訓(xùn)練時間減少13倍，算力降低90%
關(guān)鍵字：數(shù)據(jù),模型,團(tuán)隊,據(jù)點,視覺
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

一水 發(fā)自 凹非寺量子位 | 公眾號 QbitAI大幅節(jié)省算力資源，又又又有新解了！！
DeepMind團(tuán)隊提出了一種新的數(shù)據(jù)篩選方法JEST——
將AI訓(xùn)練時間減少13倍，并將算力需求降低90%。
簡單來說，JEST是一種用于聯(lián)合選擇最佳數(shù)據(jù)批次進(jìn)行訓(xùn)練的方法。
它就像一個智能的圖書管理員，在一大堆書（數(shù)據(jù)）中挑選出最適合當(dāng)前讀者（模型）閱讀的幾本書（數(shù)據(jù)批次）。
這樣做可以讓讀者更快地學(xué)到知識（訓(xùn)練模型），還能節(jié)省時間（減少迭代次數(shù)）和精力（減少計算量）。
研究顯示，JEST大幅加速了大規(guī)模多模態(tài)預(yù)訓(xùn)練，與之前的最先進(jìn)水平（SigLIP）相比，迭代次數(shù)和浮點運算次數(shù)減少了10倍。
對于上述結(jié)果，有網(wǎng)友驚呼：
新研究將成為AI訓(xùn)練的游戲規(guī)則改變者！
還有人點出了關(guān)鍵：
對于擔(dān)心人工智能需求過高的電網(wǎng)來說，這可能是個極好的消息！
那么，新方法究竟是如何運作的？接下來一起看團(tuán)隊成員相關(guān)揭秘。
揭秘新方法JEST首先，現(xiàn)有的大規(guī)模預(yù)訓(xùn)練數(shù)據(jù)篩選方法速度慢、成本高，并且沒有考慮到批次組成或訓(xùn)練過程中數(shù)據(jù)相關(guān)性的變化，這限制了多模態(tài)學(xué)習(xí)中的效率提升。
因此，DeepMind團(tuán)隊研究了聯(lián)合選擇數(shù)

原文鏈接：DeepMind新方法：訓(xùn)練時間減少13倍，算力降低90%

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破