PixelHacker – 華中科技聯(lián)合VIVO推出的圖像修復模型

PixelHacker 是由華中科技大學與 VIVO AI Lab 聯(lián)合研發(fā)的一款先進圖像修復（Image Inpainting）模型。該模型引入了潛在類別引導（Latent Categories Guidance，LCG）范式，能夠編碼前景與背景，并通過線性注意力機制將特征融入去噪過程，從而確保生成的圖像在結(jié)構(gòu)與語義上保持一致性。經(jīng)過在包含 1400 萬圖像-掩碼對的大規(guī)模數(shù)據(jù)集上的預訓練，PixelHacker 在多個開源基準數(shù)據(jù)集（如 Places2、CelebA-HQ 和 FFHQ）上進行了微調(diào)，展現(xiàn)了卓越的修復效果。

PixelHacker是什么

PixelHacker 是一款由華中科技大學和 VIVO AI Lab 聯(lián)合推出的圖像修復模型，旨在通過高效的算法恢復圖像的完整性與美觀。利用潛在類別引導（LCG）技術(shù)，該模型能夠高效地對前景和背景進行編碼，并通過線性注意力機制在去噪過程中注入特征，確保生成內(nèi)容的結(jié)構(gòu)與語義一致性?；诖笠?guī)模數(shù)據(jù)集的預訓練和微調(diào)，PixelHacker 在多種應用場景中表現(xiàn)出色。

主要功能

• 高質(zhì)量圖像修復：在自然場景和人臉圖像等多種數(shù)據(jù)集上均能展現(xiàn)出色的修復效果，生成極具真實感的內(nèi)容。
• 結(jié)構(gòu)與語義一致性：確保修復區(qū)域在紋理、形狀和顏色上與周圍環(huán)境自然融合，邏輯上符合場景的整體性。
• 適應多樣場景：對各種類型的圖像（如風景、人臉、復雜背景）均具良好的適應能力，支持不同分辨率和掩碼類型的輸入。

技術(shù)原理

• 潛在類別引導（LCG）：通過將圖像劃分為前景和背景，分別使用固定大小的嵌入編碼潛在特征，避免對具體類別標簽的依賴。訓練過程中采用多種掩碼形式構(gòu)建圖像-掩碼對，并分配到前景或背景嵌入。
• 擴散模型架構(gòu)：基于擴散模型作為生成框架，通過逐步去噪過程生成高質(zhì)量且多樣化的圖像。在每一步去噪中，利用線性注意力將前景和背景的潛在特征注入模型。
• 訓練與微調(diào)：在包含 1400 萬圖像掩碼對的大規(guī)模數(shù)據(jù)集上進行預訓練，掌握豐富的圖像分布與語義信息。經(jīng)過微調(diào)后，PixelHacker 在多個開源基準數(shù)據(jù)集上進一步提升性能。
• 多步交互：在去噪的每一步中，基于線性注意力機制，與當前圖像特征進行交互，確保生成內(nèi)容與周圍環(huán)境在結(jié)構(gòu)與語義上的一致性。
• 分類器引導（CFG）：在推理階段采用分類器引導技術(shù)，調(diào)整引導規(guī)模，以平衡生成內(nèi)容的多樣性與一致性。

項目地址

• 項目官網(wǎng)：https://hustvl.github.io/PixelHacker/
• GitHub倉庫：https://github.com/hustvl/PixelHacker
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.20438

應用場景

• 修復老舊照片：自動填補劃痕、污漬或缺失部分，恢復照片的完整性。
• 移除不必要的對象：從圖像中去除多余元素（如行人、雜物），保持背景的自然性。
• 創(chuàng)意內(nèi)容生成：幫助藝術(shù)家和設(shè)計師迅速生成高質(zhì)量圖像，應用于廣告、海報或藝術(shù)創(chuàng)作。
• 醫(yī)學影像修復：填補醫(yī)學圖像中的缺失或損壞部分，提升診斷的準確性。
• 文化遺產(chǎn)保護：修復文物和古籍圖像，填補缺失部分，促進文化傳承。

常見問題

• PixelHacker支持哪些類型的圖像？：PixelHacker適用于多種類型的圖像，包括風景、人臉和復雜背景等。
• 是否可以處理低分辨率圖像？：是的，PixelHacker能夠適應多種分辨率的圖像輸入。
• 如何訪問PixelHacker的代碼和文檔？：可以通過項目官網(wǎng)或GitHub倉庫獲取相關(guān)代碼和文檔。