ACE++

ACE++ – 阿里通義推出的升級版圖像生成與編輯模型

ACE++是什么

ACE++是由阿里巴巴通義實驗室開發(fā)的一款前沿圖像生成與編輯工具，利用指令化和上下文感知的內容填充技術，實現(xiàn)高品質的圖像創(chuàng)作與編輯功能。該工具提供多種模型，針對不同任務進行優(yōu)化：ACE++ Portrait專注于生成一致的人物肖像；ACE++ Subject確保在多種場景下的主題一致性；ACE++ LocalEditing則允許用戶重新繪制圖像的特定區(qū)域，同時保留原有的結構。即將推出的ACE++ Fully將支持更多指令化編輯和參考生成任務。

ACE++

ACE++的主要功能

圖像生成
- 肖像生成：通過ACE++ Portrait模型，用戶可以根據(jù)輸入的指令生成高質量的肖像，確保面部特征和風格的一致性。
- 主題生成：利用ACE++ Subject模型，用戶能夠在不同的背景下生成具有特定主題的圖像，如將某個標志物放置于多樣的場景中。
圖像編輯
- 局部編輯：ACE++ LocalEditing模型允許用戶對圖像特定區(qū)域進行修改，同時保留整體的結構和風格。例如，可以調整人物的服裝、背景或特定物體的外觀。
- 風格化編輯：用戶可以通過簡單的指令對圖像進行風格轉換，如將普通照片轉化為藝術風格或特定的視覺效果。
上下文感知內容填充：根據(jù)圖像上下文智能填充缺失或需修改的部分，確保生成圖像在視覺上自然且和諧。
指令驅動的交互：用戶可以通過自然語言指令輕松控制圖像的生成和編輯過程，例如指定生成特定風格的人物肖像或要求在圖像中添加、刪除或修改某個元素。
多任務支持：ACE++支持多種圖像處理任務，包括但不限于：
- 虛擬試穿：借助ACE++ Subject模型實現(xiàn)虛擬試穿效果。
- 標志粘貼：將品牌標志或元素嵌入到不同物品或場景中。
- 照片修復：對損壞或模糊的照片進行修復和增強。
- 電影海報編輯：生成或修改電影海報，確保人物和場景的一致性。

ACE++的技術基礎

改進的長上下文條件單元（LCU++）：ACE++引入了LCU++輸入范式，通過在通道維度拼接輸入圖像、掩碼和噪聲，形成條件單元（CU）特征圖。這種新方法減少了上下文感知框架的干擾，降低了模型適應的成本。LCU++輸入格式能夠擴展到無參考圖像（0-ref）和多參考圖像（N-ref）任務，增強了模型的適應性。
兩階段訓練方案：ACE++采用兩階段的訓練策略。第一階段，模型基于文本到圖像的生成模型進行預訓練，專注于0-ref任務，快速適應條件輸入。第二階段，模型在所有數(shù)據(jù)上進行微調，旨在支持通用指令并優(yōu)化模型對輸入?yún)⒖紙D像的重建能力和目標圖像的生成能力。
模型架構：ACE++整體架構結合了LCU++范式，通過x-embed層將CU特征圖映射為序列化標記，用作Transformer層的輸入。模型訓練的目標是最小化預測速度與真實速度之間的均方誤差，賦予模型上下文感知的生成能力。
任務支持與模型優(yōu)化：ACE++提供了一套工具，支持多種圖像編輯和生成任務，如肖像一致性、主題一致性和局部編輯等。針對常見應用場景，ACE++訓練了輕量級的領域穩(wěn)定微調模型，如LoRA策略，以提升模型在特定任務中的表現(xiàn)。

ACE++的項目地址

項目官網：https://ali-vilab.github.io/ACE_plus
Github倉庫：https://github.com/ali-vilab/ACE_plus
HuggingFace模型庫：https://huggingface.co/ali-vilab/ACE_Plus
arXiv技術論文：https://arxiv.org/pdf/2501.02487

ACE++的應用場景

虛擬試穿：通過ACE++ Subject模型，用戶能夠將服裝或配飾放置于不同人物模型上，創(chuàng)造虛擬試穿的效果。這項功能幫助設計師快速評估設計效果，也為電商平臺提供個性化的試穿體驗。
品牌標志粘貼：在產品設計和廣告制作過程中，ACE++ Subject模型可以將品牌標志或設計元素嵌入到多種背景或物品上。
照片編輯：ACE++支持對現(xiàn)有照片進行全方位的編輯操作，包括風格轉換、元素增減、背景替換等。
電影海報編輯：利用ACE++ Portrait模型，用戶可以對電影海報中的人物肖像進行風格化處理或修改，調整表情和服裝風格，確保海報滿足多樣化的宣傳需求。
局部編輯：ACE++ LocalEditing模型能夠對圖像中特定區(qū)域進行重新繪制，同時保持整體結構和風格，適用于修復照片中的劃痕和污漬，或美化人物的某個部位。
藝術創(chuàng)作與設計：藝術家和設計師可以利用ACE++的生成和編輯功能，輕松實現(xiàn)創(chuàng)意。根據(jù)文字描述生成初步設計草圖，或對已有設計進行風格化修改，從而提升創(chuàng)作效率。

閱讀原文