1890美元，就能從頭訓(xùn)練一個(gè)還不錯(cuò)的12億參數(shù)擴(kuò)散模型

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：1890美元，就能從頭訓(xùn)練一個(gè)還不錯(cuò)的12億參數(shù)擴(kuò)散模型
關(guān)鍵字：掩蔽,模型,作者,成本,方法
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：張倩、陳陳只用1890美元、3700 萬張圖像，就能訓(xùn)練一個(gè)還不錯(cuò)的擴(kuò)散模型。現(xiàn)階段，視覺生成模型擅長創(chuàng)建逼真的視覺內(nèi)容，然而從頭開始訓(xùn)練這些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花費(fèi)了 200000 個(gè) A100 GPU 小時(shí)。即使研究者使用最先進(jìn)的方法，也需要在 8×H100 GPU 上訓(xùn)練一個(gè)多月的時(shí)間。
此外，訓(xùn)練大模型也對(duì)數(shù)據(jù)集提出了挑戰(zhàn)，這些數(shù)據(jù)基本以億為單位，同樣給訓(xùn)練模型帶來挑戰(zhàn)。
高昂的訓(xùn)練成本和對(duì)數(shù)據(jù)集的要求為大規(guī)模擴(kuò)散模型的開發(fā)造成了難以逾越的障礙。
現(xiàn)在，來自 Sony AI 等機(jī)構(gòu)的研究者僅僅花了 1890 美元，就訓(xùn)練了一個(gè)不錯(cuò)的擴(kuò)散模型， 具有 11.6 億參數(shù)的稀疏 transformer。論文地址：https://arxiv.org/pdf/2407.15811
論文標(biāo)題：Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget
項(xiàng)目（即將發(fā)布）：https://github.com/SonyResearc

原文鏈接：1890美元，就能從頭訓(xùn)練一個(gè)還不錯(cuò)的12億參數(shù)擴(kuò)散模型

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：