擴(kuò)散模型進(jìn)軍專業(yè)圖層,斯坦福提出LayerDiffuse實(shí)現(xiàn)分層擴(kuò)散,效果直逼商業(yè)網(wǎng)站
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:擴(kuò)散模型進(jìn)軍專業(yè)圖層,斯坦福提出LayerDiffuse實(shí)現(xiàn)分層擴(kuò)散,效果直逼商業(yè)網(wǎng)站
關(guān)鍵字:圖像,模型,作者,前景,本文
文章來源:大數(shù)據(jù)文摘
內(nèi)容字?jǐn)?shù):9039字
內(nèi)容摘要:
大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自將門創(chuàng)投
目前,視覺擴(kuò)散生成模型(如Stable Diffusion等)在常規(guī)圖像生成任務(wù)上獲得了非常好的效果,但是在內(nèi)容制作的專業(yè)領(lǐng)域,例如對(duì)圖像進(jìn)行透明分層制作,現(xiàn)有的方法仍然缺乏這種功能。本文介紹一篇來自斯坦福大學(xué)的工作,本文提出了一種名為L(zhǎng)ayerDiffuse的新型擴(kuò)散方法,LayerDiffuse允許我們大規(guī)模預(yù)訓(xùn)練擴(kuò)散模型來生成專業(yè)的透明圖層。
本文探索了一種“l(fā)atent transparency”(隱透明度)的概念,通過將alpha通道的透明度編碼到預(yù)訓(xùn)練擴(kuò)散模型的隱空間流形中,并將對(duì)透明度的調(diào)節(jié)設(shè)置為對(duì)隱空間流形的偏移量。LayerDiffuse僅對(duì)基礎(chǔ)預(yù)訓(xùn)練隱空間的分布進(jìn)行了微小的修改,這樣可以保留預(yù)訓(xùn)練擴(kuò)散隱空間的圖像生成質(zhì)量。作者表示,LayerDiffuse可以應(yīng)用在多種不同的開源圖像生成模型中,來實(shí)現(xiàn)圖像前景/背景條件層生成、結(jié)構(gòu)引導(dǎo)生成等復(fù)雜的功能。
此外,本文的實(shí)驗(yàn)結(jié)果也表明,相比普通做法(先生成圖像再摳圖),LayerDiffuse直接生成的透明圖層圖像在大多數(shù)情況下(97%)更受用戶歡迎。并且作者還將LayerDiffuse與專
原文鏈接:擴(kuò)散模型進(jìn)軍專業(yè)圖層,斯坦福提出LayerDiffuse實(shí)現(xiàn)分層擴(kuò)散,效果直逼商業(yè)網(wǎng)站
聯(lián)系作者
文章來源:大數(shù)據(jù)文摘
作者微信:BigDataDigest
作者簡(jiǎn)介:普及數(shù)據(jù)思維,傳播數(shù)據(jù)文化