PartEdit

PartEdit – KAUST推出的細粒度圖像編輯方法

PartEdit是什么

PartEdit是由KAUST開發的一種基于預訓練擴散模型的細粒度圖像編輯工具。該方法通過優化特定的文本標記（稱為“部分標記”），使得擴散模型能夠精確定位并編輯圖像中的各個對象部分。部分標記生成與對象部分對應的非二進制掩碼，使得在每個擴散步驟中都能準確識別需要編輯的區域。結合特征混合與自適應閾值策略，PartEdit能夠無縫整合編輯內容，同時保留未編輯區域的原貌。此技術無需對模型進行重新訓練，便能實現高質量的編輯效果。PartEdit不僅支持真實圖像的編輯，還能同時處理多個對象部分，為創作者提供了強大的工具，以實現精準且富有創意的圖像修改。

PartEdit

PartEdit的主要功能

精準定位與編輯對象部分：能夠對圖像中的各個對象部分（如頭部、車身、引擎蓋等）進行精確定位和編輯，滿足用戶的細致修改需求。
無縫集成編輯內容：利用優化的非二進制掩碼和自適應閾值策略，將編輯信息與原圖無縫融合，避免突兀的過渡效果。
高質量視覺效果：生成的編輯圖像保持高視覺質量，確保未修改區域的原始細節和整體圖像風格的一致性。
支持多種編輯類型：可實現語義編輯（如更換對象部分）和風格調整（如改變顏色、材質等），并生成傳統方法難以處理的復雜概念。
真實圖像編輯：結合圖像反轉技術，支持對真實照片進行編輯，而不僅限于合成圖像。
多部分同時編輯：在推理過程中可同時編輯多個部分，無需重新訓練模型，提高編輯效率。

PartEdit的技術原理

預訓練擴散模型：依托預訓練的擴散模型（如SDXL）的強大生成能力，通過逆向擴散過程生成圖像，利用文本提示引導生成過程。
部分標記（Part Tokens）：通過優化特定文本標記，提升模型對對象部分的理解。這些標記在擴散過程中每一步生成可靠的非二進制掩碼，用于準確定位編輯區域。
優化過程：使用二元交叉熵（BCE）損失函數，并結合少量標注數據（如PASCAL-Part或PartImageNet），優化部分標記，在不同UNet層和時間步中生成與對象部分相對應的注意力圖。
特征混合與自適應閾值策略：在每個時間步和UNet層，依據非二進制掩碼將源圖像特征與編輯圖像特征混合。自適應閾值策略用于平滑編輯區域與未編輯區域的過渡，確保編輯自然流暢。
時間步選擇：分析不同時間步的圖像生成狀態，選擇中間時間步優化大型部分的定位，對小型部分結合中間和后期時間步，以實現最佳定位效果。
真實圖像反轉：針對真實圖像的編輯，結合圖像反轉技術（如Ledits++或EF-DDPM）估計真實圖像的擴散軌跡，作為源路徑進行編輯。