大模型一定就比小模型好？谷歌的這項(xiàng)研究說不一定

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型一定就比小模型好？谷歌的這項(xiàng)研究說不一定
關(guān)鍵字：模型,效率,性能,大小,規(guī)模
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：9139字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：Panda在這個(gè)大模型不斷創(chuàng)造新成就的時(shí)代，我們通常對(duì)機(jī)器學(xué)習(xí)模型有一個(gè)直觀認(rèn)知：越大越好。但事實(shí)果真如此嗎？
近日，Google Research 一個(gè)團(tuán)隊(duì)基于隱擴(kuò)散模型（LDM）進(jìn)行了大量實(shí)驗(yàn)研究，得出了一個(gè)結(jié)論：更大并不總是更好（Bigger is not Always Better），尤其是在預(yù)算有限時(shí)。論文標(biāo)題：Bigger is not Always Better: Scaling Properties of Latent Diffusion Models
論文地址：https://arxiv.org/pdf/2404.01367.pdf
近段時(shí)間，隱擴(kuò)散模型和廣義上的擴(kuò)散模型取得的成就不可謂不耀眼。這些模型在處理了大規(guī)模高質(zhì)量數(shù)據(jù)之后，可以非常出色地完成多種不同任務(wù)，包括圖像合成與編輯、視頻創(chuàng)建、音頻生成和 3D 合成。
盡管這些模型可以解決多種多樣的問題，但要想在真實(shí)世界應(yīng)用中大規(guī)模使用它們，還需要克服一大障礙：采樣效率低。
這一難題的本質(zhì)在于，為了生成高質(zhì)量輸出，LDM 需要依賴多步采樣，而我們知道：采樣總成本 = 采樣步驟數(shù) × 每一步的成本。

原文鏈接：大模型一定就比小模型好？谷歌的這項(xiàng)研究說不一定

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)