BrushNet是一款由騰訊PCG部門的ARC實(shí)驗(yàn)室與香港大學(xué)的研究團(tuán)隊(duì)共同開(kāi)發(fā)的圖像修復(fù)（Inpainting）模型。它基于先進(jìn)的擴(kuò)散模型，采用了獨(dú)特的雙分支架構(gòu)，能夠高效處理圖像中的遮罩區(qū)域。這一模型的設(shè)計(jì)旨在在保持原有圖像內(nèi)容連貫性的同時(shí)，生成高質(zhì)量的修復(fù)效果。

BrushNet是什么

BrushNet是一個(gè)即插即用的圖像修復(fù)工具，憑借其創(chuàng)新的雙分支結(jié)構(gòu)，能夠有效地處理圖像中的遮罩部分。模型的一個(gè)分支專注于提取遮罩區(qū)域的像素特征，而另一個(gè)分支負(fù)責(zé)生成完整的圖像。這種分解方法使得BrushNet能夠在修復(fù)過(guò)程中以分層的方式精細(xì)融合遮罩信息，從而確保修復(fù)后的圖像在風(fēng)格和內(nèi)容上保持一致性。

與以往的圖像修復(fù)技術(shù)（如Blended Latent Diffusion、Stable Diffusion Inpainting、HD-Painter、PowerPaint等）相比，BrushNet在風(fēng)格、內(nèi)容、顏色及提示對(duì)齊等方面展現(xiàn)了更強(qiáng)的連貫性和效果。

BrushNet的官網(wǎng)入口

• 官方項(xiàng)目主頁(yè)：https://tencentarc.github.io/BrushNet/
• GitHub代碼庫(kù)：https://github.com/TencentARC/BrushNet
• arXiv研究論文：https://arxiv.org/abs/2403.06976

主要功能

• 多樣化圖像修復(fù)：BrushNet能夠修復(fù)多種場(chǎng)景的圖像，包括人類、動(dòng)物、室內(nèi)和戶外環(huán)境，也支持多種風(fēng)格的圖像，如自然風(fēng)光、鉛筆畫(huà)、動(dòng)漫及水彩畫(huà)等。
• 精準(zhǔn)像素修復(fù)：該模型能夠精確識(shí)別和處理遮罩區(qū)域，對(duì)每一個(gè)像素進(jìn)行細(xì)致的修復(fù)，確保修復(fù)區(qū)域與原圖在視覺(jué)上無(wú)縫對(duì)接。
• 保留未遮罩區(qū)域：通過(guò)分層控制和特定的模糊融合策略，BrushNet在修復(fù)過(guò)程中有效保留未遮罩的區(qū)域，避免對(duì)原始內(nèi)容造成不必要的干擾。
• 兼容性強(qiáng)：BrushNet是一款即插即用的模型，可以與多種預(yù)訓(xùn)練的擴(kuò)散模型（如DreamShaper、epiCRealism、MeinaMix等）結(jié)合，利用這些模型的強(qiáng)大生成能力來(lái)完成修復(fù)任務(wù)。
• 靈活控制：用戶可以通過(guò)調(diào)整參數(shù)來(lái)控制修復(fù)的范圍和細(xì)節(jié)，包括修復(fù)區(qū)域的大小及修復(fù)內(nèi)容的詳細(xì)程度。

應(yīng)用場(chǎng)景

BrushNet的應(yīng)用場(chǎng)景廣泛，適用于專業(yè)攝影師、設(shè)計(jì)師、藝術(shù)家等需要圖像修復(fù)工作的用戶。同時(shí)，它也適用于社交媒體內(nèi)容創(chuàng)作者，希望提升圖像質(zhì)量或修復(fù)損壞圖像的用戶。無(wú)論是修復(fù)老舊照片、創(chuàng)作藝術(shù)作品，還是提升產(chǎn)品圖像的視覺(jué)效果，BrushNet都能提供高質(zhì)量的修復(fù)解決方案。

常見(jiàn)問(wèn)題

BrushNet的使用難度如何？
BrushNet設(shè)計(jì)為即插即用，用戶界面友好，易于上手，適合各類用戶。

是否支持批量處理圖像？
是的，BrushNet支持批量處理功能，用戶可以一次性修復(fù)多個(gè)圖像，提高工作效率。

修復(fù)后的圖像質(zhì)量如何？
BrushNet生成的修復(fù)圖像質(zhì)量高，能在風(fēng)格和內(nèi)容上與原始圖像保持一致。

是否可以自定義修復(fù)參數(shù)？
用戶可以根據(jù)需要調(diào)整修復(fù)的規(guī)模和細(xì)節(jié)，以滿足具體的修復(fù)要求。