ICEdit – 浙江大合哈佛大學推出的指令式圖像編輯框架

ICEdit是什么

ICEdit（In-Context Edit）是由浙江大學和哈佛大合研發的指令式圖像編輯框架。它利用大規模擴散變換器（Diffusion Transformer）的強大生成能力和上下文感知能力，通過自然語言指令對圖像進行精確編輯。相較于傳統方法，ICEdit在訓練數據和可調參數方面需求顯著降低，僅需0.1%和1%，在多輪和多任務編輯中表現突出。ICEdit具備開源、低成本及快速處理（單張圖片處理約9秒）的優點，適合多種應用場景。

ICEdit的主要功能

• 指令驅動的圖像修改：用戶可以通過自然語言指令，對圖像進行精準的變更，如替換背景、添加文字或更改人物服裝等。
• 連續編輯能力：支持多次編輯，每次操作基于之前的結果，非常適合復雜的創作需求。
• 藝術風格轉換：能夠將圖像轉換為各種藝術風格，例如水彩畫、漫畫等。
• 對象替換與增添：允許替換圖像中的元素或添加新對象，比如將人物更換為卡通角色。
• 高效處理速度：處理速度較快（每張圖像約9秒），適合快速生成和迭代。

ICEdit的技術原理

• 上下文編輯框架：采用“上下文提示”（In-Context Prompting）技術，將編輯指令融入生成提示中，模型根據提示生成編輯后的圖像。無需對模型架構進行復雜修改，從而避免傳統方法中的結構調整困擾。模型通過上下文理解，直接生成符合指令的結果。
• LoRA-MoE混合微調策略：結合低秩適配器（LoRA）和動態專家路由（Mixture-of-Experts，MoE）技術。LoRA通過低秩矩陣分解高效調整模型參數，適應不同編輯任務，而MoE則動態選擇最適合當前任務的專家模塊，提高編輯質量和靈活性。僅需少量訓練樣本（50K）進行微調，顯著提高編輯成功率。
• 推理階段早期篩選策略：在推理過程中，利用視覺語言模型（VLM）對早期生成的噪聲樣本進行評估，篩選出最符合編輯指令的初始噪聲。通過少量步驟（如4步）評估編輯效果，快速選擇最優初始噪聲，進一步提升編輯質量。

ICEdit的項目地址

• 項目官網：https://river-zhang.github.io/ICEdit-gh-pages/
• GitHub倉庫：https://github.com/River-Zhang/ICEdit
• HuggingFace模型庫：https://huggingface.co/sanaka87/ICEdit-MoE-LoRA
• arXiv技術論文：https://arxiv.org/pdf/2504.20690
• 在線體驗Demo：https://huggingface.co/spaces/RiverZ/ICEdit

ICEdit的應用場景

• 創意設計：將照片轉化為藝術風格（如水彩畫），或增添創意元素，以用于設計和廣告。
• 影視制作：快速生成角色設計或場景概念圖，支持影視前期開發。
• 社交媒體：編輯個人照片（如更換背景、添加特效），制作吸引人的社交內容。
• 教育領域：生成教學用圖，如將歷史人物轉為漫畫風格，輔助教學過程。
• 商業廣告：快速制作產品宣傳圖，如更換背景、添加品牌標志等。

常見問題

• ICEdit是如何工作的？：ICEdit通過自然語言指令與上下文提示技術生成編輯圖像。用戶輸入指令后，模型根據上下文直接生成編輯效果。
• 使用ICEdit需要哪些資源？：ICEdit在訓練數據和參數方面需求較低，僅需少量樣本進行微調，降低了資源的使用。
• ICEdit適合哪些用戶？：無論是設計師、內容創作者，還是教育工作者，ICEdit都能滿足各種創作需求。
• 處理一張圖片需要多長時間？：處理單張圖像大約需要9秒，非常適合快速生成和迭代。