1890美元，就能從頭訓練一個還不錯的12億參數擴散模型

AIGC動態歡迎閱讀

原標題：1890美元，就能從頭訓練一個還不錯的12億參數擴散模型
關鍵字：掩蔽,模型,作者,成本,方法
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
編輯：張倩、陳陳只用1890美元、3700 萬張圖像，就能訓練一個還不錯的擴散模型。現階段，視覺生成模型擅長創建逼真的視覺內容，然而從頭開始訓練這些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花費了 200000 個 A100 GPU 小時。即使研究者使用最先進的方法，也需要在 8×H100 GPU 上訓練一個多月的時間。
此外，訓練大模型也對數據集提出了挑戰，這些數據基本以億為單位，同樣給訓練模型帶來挑戰。
高昂的訓練成本和對數據集的要求為大規模擴散模型的開發造成了難以逾越的障礙。
現在，來自 Sony AI 等機構的研究者僅僅花了 1890 美元，就訓練了一個不錯的擴散模型， 具有 11.6 億參數的稀疏 transformer。論文地址：https://arxiv.org/pdf/2407.15811
論文標題：Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget
項目（即將發布）：https://github.com/SonyResearc

原文鏈接：1890美元，就能從頭訓練一個還不錯的12億參數擴散模型

聯系作者

文章來源：機器之心
作者微信：
作者簡介：