比Stable Diffusion便宜118倍！1890美元訓出11.6億參數高質量文生圖模型

AIGC動態歡迎閱讀

原標題：比Stable Diffusion便宜118倍！1890美元訓出11.6億參數高質量文生圖模型
關鍵字：模型,掩蔽,圖像,性能,作者
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：alan
【新智元導讀】近日，來自加州大學爾灣分校等機構的研究人員，利用延遲掩蔽、MoE、分層擴展等策略，將擴散模型的訓練成本降到了1890美元。訓練一個擴散模型要多少錢？
之前最便宜的方法（Wuerstchen）用了28400美元，而像Stable Diffusion這樣的模型還要再貴一個數量級。
大模型時代，一般人根本玩不起。想要各種文生姐，還得靠廠商們負重前行
為了降低這龐大的開銷，研究者們嘗試了各種方案。
比如，原始的擴散模型從噪聲到圖像大約需要1000步，目前已經被減少到20步左右，甚至更少。
當擴散模型中的基礎模塊逐漸由Unet（CNN）替換為DiT（Transformer）之后，一些根據Transformer特性來做的優化也跟了上來。
比如量化，比如跳過Attention中的一些冗余計算，比如pipeline。
而近日，來自加州大學爾灣分校等機構的研究人員，把「省錢」這個目標直接向前推進了一大步：
論文地址：https://arxiv.org/abs/2407.15811
——從頭開始訓練一個11.6億參數的擴散模型，只需要1890美元！
對比SOT

原文鏈接：比Stable Diffusion便宜118倍！1890美元訓出11.6億參數高質量文生圖模型

聯系作者

文章來源：新智元
作者微信：
作者簡介：