ChatGPT驚人耗電！DeepMind新算法訓(xùn)練提效13倍，能耗暴降10倍

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：ChatGPT驚人耗電！DeepMind新算法訓(xùn)練提效13倍，能耗暴降10倍
關(guān)鍵字：數(shù)據(jù),模型,性能,方法,習(xí)性
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：桃子喬楊
【新智元導(dǎo)讀】ChatGPT能耗驚人，該怎么解？谷歌DeepMind新算法JEST問世，讓LLM訓(xùn)練的迭代次數(shù)降低13倍，計(jì)算量減少10倍，或?qū)⒅厮蹵I未來。ChatGPT早已成為世界耗能大戶：一天用掉超50萬度電，相當(dāng)于1.7萬個(gè)美國家庭的用電量！
然而，大模型對能源的吞噬，遠(yuǎn)不僅如此。
國際能源署（IEA）預(yù)測，從2022年到2026年，數(shù)據(jù)中心的用電量將翻一番。
隨著AI計(jì)算需求的膨脹，還需要用水來冷卻計(jì)算系統(tǒng)。研究稱，微軟用水量從2021年到22年飆升了34%，ChatGPT每處理5-50個(gè)提示就會(huì)消耗接近半升水。
針對這種現(xiàn)狀，我們有更好的解決策略嗎？
最近，谷歌DeepMind研究團(tuán)隊(duì)提出了一種加快AI訓(xùn)練的新方法——多模態(tài)對比學(xué)習(xí)與聯(lián)合示例選擇（JEST），大大減少了所需的計(jì)算資源和時(shí)間。
JEST以13倍更少的迭代次數(shù)，以及10倍更少的計(jì)算量，超越了最先進(jìn)的模型！
論文地址：https://arxiv.org/pdf/2406.17711
預(yù)訓(xùn)練的參考模型，已經(jīng)學(xué)習(xí)了什么樣的數(shù)據(jù)是有「優(yōu)質(zhì)的」或「有用的」。然后通過模型，來引導(dǎo)數(shù)據(jù)選擇那些精心

原文鏈接：ChatGPT驚人耗電！DeepMind新算法訓(xùn)練提效13倍，能耗暴降10倍

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。