DiffBrush – 北郵聯(lián)合清華等機構(gòu)推出的圖像生成與編輯框架

DiffBrush是什么

DiffBrush是由北京郵電大學(xué)、清華大學(xué)、中國電信人工智能研究所和西北工業(yè)大合開發(fā)的一款圖像生成與編輯框架。用戶無需進行復(fù)雜的訓(xùn)練，即可通過簡單的手繪草圖直觀地操控圖像生成過程。該工具利用預(yù)訓(xùn)練的文本到圖像（T2I）模型，結(jié)合顏色引導(dǎo)、實例及語義引導(dǎo)、潛在空間再生等先進技術(shù)，精確地掌控生成圖像的顏色、語義及實例分布。DiffBrush兼容多種T2I模型（如Stable Diffusion、SDXL等），并支持LoRA風(fēng)格調(diào)整。用戶在畫布上輕松繪制實例的輪廓和顏色，即可生成符合其需求的圖像。DiffBrush有效地克服了傳統(tǒng)T2I模型對文本提示的依賴，提高了AI繪畫的可用性，為用戶提供了更為直觀和高效的創(chuàng)作體驗。

DiffBrush的主要功能

• 用戶友好的圖像生成：用戶可以通過手繪草圖來控制生成圖像的內(nèi)容，無需掌握復(fù)雜的文本提示或技術(shù)知識。
• 顏色控制：根據(jù)用戶繪制的顏色信息，精確控制生成圖像中相應(yīng)區(qū)域的顏色。
• 實例與語義控制：用戶可以繪制實例的輪廓并標(biāo)注語義信息，以控制生成圖像中特定對象的位置和語義屬性。
• 圖像編輯：允許用戶在現(xiàn)有圖像的基礎(chǔ)上進行編輯，如添加、修改或替換圖像中的對象。
• 風(fēng)格化生成：支持與LoRA（低秩自適應(yīng)）風(fēng)格調(diào)整結(jié)合，生成不同藝術(shù)風(fēng)格的圖像，如油畫、國畫等。
• 多模型兼容：兼容多種T2I模型（如Stable Diffusion、SDXL、Flux等），具備廣泛的適用性。

DiffBrush的技術(shù)原理

• 擴散模型的引導(dǎo)機制：基于預(yù)訓(xùn)練的T2I模型（如Stable Diffusion）的擴散過程，DiffBrush通過修改去噪方向，引導(dǎo)生成圖像朝向用戶手繪的草圖靠攏。
• 顏色引導(dǎo)：通過擴散模型的潛在空間與顏色空間的高度相似性，用戶繪制的顏色信息被編碼到潛在空間中，利用能量函數(shù)（如MSE損失）引導(dǎo)生成圖像的顏色與用戶的需求一致。
• 實例與語義引導(dǎo)：利用擴散模型中的注意力機制（如交叉注意力和自注意力），根據(jù)用戶繪制的實例輪廓作為監(jiān)督目標(biāo)，調(diào)整注意力圖的分布，確保生成圖像中對象的位置和語義符合用戶需求。
• 潛在空間再生：通過迭代優(yōu)化初始噪聲分布，使其接近用戶手繪草圖的目標(biāo)分布，從而在擴散過程的早期階段進一步提升生成圖像的質(zhì)量。
• 用戶交互與兼容性：將用戶的手繪草圖與文本提示結(jié)合，提供簡單的用戶界面以實現(xiàn)直觀交互。DiffBrush支持多種預(yù)訓(xùn)練的T2I模型，用戶可根據(jù)需要調(diào)整引導(dǎo)強度等超參數(shù)，以獲得最佳生成效果。

DiffBrush的項目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.20904

DiffBrush的應(yīng)用場景

• 創(chuàng)意繪畫：藝術(shù)家和設(shè)計師能夠快速將手繪創(chuàng)意轉(zhuǎn)化為高質(zhì)量圖像，支持多種風(fēng)格，便于實現(xiàn)藝術(shù)構(gòu)思。
• 圖像編輯：用戶可在已有圖片上輕松添加、替換或修改內(nèi)容，適合普通用戶和設(shè)計師使用。
• 教育工具：可用于藝術(shù)與設(shè)計教學(xué)，幫助學(xué)生通過手繪理解色彩、構(gòu)圖和創(chuàng)意表達(dá)。
• 游戲設(shè)計：快速生成游戲場景、角色或動畫草圖，支持風(fēng)格化輸出，助力創(chuàng)意迭代。
• 廣告設(shè)計：根據(jù)創(chuàng)意草圖迅速生成廣告圖像，滿足客戶對色彩和布局的需求，提高設(shè)計效率。

常見問題

• DiffBrush如何使用？：用戶只需在畫布上手繪草圖，并選擇相應(yīng)的顏色和樣式，DiffBrush將自動生成符合需求的圖像。
• DiffBrush支持哪些圖像格式？：DiffBrush支持多種常見圖像格式，用戶可以根據(jù)需要導(dǎo)入和導(dǎo)出圖像。
• 我可以在DiffBrush中使用自己的模型嗎？：DiffBrush兼容多種預(yù)訓(xùn)練的T2I模型，用戶可以根據(jù)需求選擇適合的模型。
• DiffBrush適合哪些用戶群體？：無論是藝術(shù)家、設(shè)計師，還是普通用戶，DiffBrush都提供了友好的操作界面，適合各類人群使用。
• DiffBrush提供哪些技術(shù)支持？：用戶可通過項目官網(wǎng)獲取詳細(xì)的使用文檔和技術(shù)支持，幫助解決使用過程中的問題。