3秒讓AI變乖,生成風(fēng)險(xiǎn)圖片減少30%!復(fù)旦新研究拿下擴(kuò)散模型概念移除新SOTA|ECCV 2024
AIGC動態(tài)歡迎閱讀
原標(biāo)題:3秒讓AI變乖,生成風(fēng)險(xiǎn)圖片減少30%!復(fù)旦新研究拿下擴(kuò)散模型概念移除新SOTA|ECCV 2024
關(guān)鍵字:概念,模型,方法,內(nèi)容,編輯
文章來源:量子位
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
RECE團(tuán)隊(duì) 投稿量子位 | 公眾號 QbitAI讓AI繪畫模型變“乖”,現(xiàn)在僅需3秒調(diào)整模型參數(shù)。
效果be like:生成的風(fēng)險(xiǎn)圖片比以往最佳方法減少30%!
像這樣,在充分移除梵高繪畫風(fēng)格的同時(shí),對非目標(biāo)藝術(shù)風(fēng)格幾乎沒有影響。
在移除露內(nèi)容上,效果達(dá)到“只穿衣服,不改結(jié)構(gòu)”。
這就是復(fù)旦大學(xué)提出的概念移除新方法——RECE。
目前,基于擴(kuò)散模型的AI生圖有時(shí)真假難辨,常被惡意用戶用來生成版權(quán)和包含風(fēng)險(xiǎn)內(nèi)容(如虛假新聞、暴力內(nèi)容)的圖像。
SD中使用的的安全措施是使用安全檢查器,對違規(guī)的生成圖像不予展示,還集成了一些用classifier-free guidance來規(guī)避風(fēng)險(xiǎn)概念的方法。
但在開源條件下,惡意用戶可以輕松繞過這些機(jī)制,網(wǎng)上甚至有大把的教程……
針對此,學(xué)界提出了“概念移除”,即通過微調(diào)來移除文生圖擴(kuò)散模型中特定的風(fēng)險(xiǎn)概念,使其不再具備生成相應(yīng)內(nèi)容的能力。
這種方法的資源消耗遠(yuǎn)低于從頭重新訓(xùn)練的SD v2.1版本,也不能被輕易繞過。
而最新研究RECE,拿下概念移除SOTA效果,并且對無關(guān)概念破壞極小,論文已被頂會ECCV 2024接收。
整個(gè)過程基于高效的
原文鏈接:3秒讓AI變乖,生成風(fēng)險(xiǎn)圖片減少30%!復(fù)旦新研究拿下擴(kuò)散模型概念移除新SOTA|ECCV 2024
聯(lián)系作者
文章來源:量子位
作者微信:
作者簡介: