DeepMind新方法：訓練時間減少13倍，算力降低90%

AIGC動態歡迎閱讀

原標題：DeepMind新方法：訓練時間減少13倍，算力降低90%
關鍵字：數據,模型,團隊,據點,視覺
文章來源：量子位
內容字數：0字

內容摘要：

一水 發自 凹非寺量子位 | 公眾號 QbitAI大幅節省算力資源，又又又有新解了！！
DeepMind團隊提出了一種新的數據篩選方法JEST——
將AI訓練時間減少13倍，并將算力需求降低90%。
簡單來說，JEST是一種用于聯合選擇最佳數據批次進行訓練的方法。
它就像一個智能的圖書管理員，在一大堆書（數據）中挑選出最適合當前讀者（模型）閱讀的幾本書（數據批次）。
這樣做可以讓讀者更快地學到知識（訓練模型），還能節省時間（減少迭代次數）和精力（減少計算量）。
研究顯示，JEST大幅加速了大規模多模態預訓練，與之前的最先進水平（SigLIP）相比，迭代次數和浮點運算次數減少了10倍。
對于上述結果，有網友驚呼：
新研究將成為AI訓練的游戲規則改變者！
還有人點出了關鍵：
對于擔心人工智能需求過高的電網來說，這可能是個極好的消息！
那么，新方法究竟是如何運作的？接下來一起看團隊成員相關揭秘。
揭秘新方法JEST首先，現有的大規模預訓練數據篩選方法速度慢、成本高，并且沒有考慮到批次組成或訓練過程中數據相關性的變化，這限制了多模態學習中的效率提升。
因此，DeepMind團隊研究了聯合選擇數

原文鏈接：DeepMind新方法：訓練時間減少13倍，算力降低90%

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破