ChatGPT驚人耗電！DeepMind新算法訓練提效13倍，能耗暴降10倍

AIGC動態歡迎閱讀

原標題：ChatGPT驚人耗電！DeepMind新算法訓練提效13倍，能耗暴降10倍
關鍵字：數據,模型,性能,方法,習性
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：桃子喬楊
【新智元導讀】ChatGPT能耗驚人，該怎么解？谷歌DeepMind新算法JEST問世，讓LLM訓練的迭代次數降低13倍，計算量減少10倍，或將重塑AI未來。ChatGPT早已成為世界耗能大戶：一天用掉超50萬度電，相當于1.7萬個美國家庭的用電量！
然而，大模型對能源的吞噬，遠不僅如此。
國際能源署（IEA）預測，從2022年到2026年，數據中心的用電量將翻一番。
隨著AI計算需求的膨脹，還需要用水來冷卻計算系統。研究稱，微軟用水量從2021年到22年飆升了34%，ChatGPT每處理5-50個提示就會消耗接近半升水。
針對這種現狀，我們有更好的解決策略嗎？
最近，谷歌DeepMind研究團隊提出了一種加快AI訓練的新方法——多模態對比學習與聯合示例選擇（JEST），大大減少了所需的計算資源和時間。
JEST以13倍更少的迭代次數，以及10倍更少的計算量，超越了最先進的模型！
論文地址：https://arxiv.org/pdf/2406.17711
預訓練的參考模型，已經學習了什么樣的數據是有「優質的」或「有用的」。然后通過模型，來引導數據選擇那些精心

原文鏈接：ChatGPT驚人耗電！DeepMind新算法訓練提效13倍，能耗暴降10倍

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。