ACE++ – 阿里通義推出的升級(jí)版圖像生成與編輯模型

ACE++是什么

ACE++是由阿里巴巴通義實(shí)驗(yàn)室開發(fā)的一款前沿圖像生成與編輯工具，利用指令化和上下文感知的內(nèi)容填充技術(shù)，實(shí)現(xiàn)高品質(zhì)的圖像創(chuàng)作與編輯功能。該工具提供多種模型，針對(duì)不同任務(wù)進(jìn)行優(yōu)化：ACE++ Portrait專注于生成一致的人物肖像；ACE++ Subject確保在多種場(chǎng)景下的主題一致性；ACE++ LocalEditing則允許用戶重新繪制圖像的特定區(qū)域，同時(shí)保留原有的結(jié)構(gòu)。即將推出的ACE++ Fully將支持更多指令化編輯和參考生成任務(wù)。

ACE++的主要功能

• 圖像生成
  • 肖像生成：通過ACE++ Portrait模型，用戶可以根據(jù)輸入的指令生成高質(zhì)量的肖像，確保面部特征和風(fēng)格的一致性。
  • 主題生成：利用ACE++ Subject模型，用戶能夠在不同的背景下生成具有特定主題的圖像，如將某個(gè)標(biāo)志物放置于多樣的場(chǎng)景中。
• 圖像編輯
  • 局部編輯：ACE++ LocalEditing模型允許用戶對(duì)圖像特定區(qū)域進(jìn)行修改，同時(shí)保留整體的結(jié)構(gòu)和風(fēng)格。例如，可以調(diào)整人物的服裝、背景或特定物體的外觀。
  • 風(fēng)格化編輯：用戶可以通過簡(jiǎn)單的指令對(duì)圖像進(jìn)行風(fēng)格轉(zhuǎn)換，如將普通照片轉(zhuǎn)化為藝術(shù)風(fēng)格或特定的視覺效果。
• 上下文感知內(nèi)容填充：根據(jù)圖像上下文智能填充缺失或需修改的部分，確保生成圖像在視覺上自然且和諧。
• 指令驅(qū)動(dòng)的交互：用戶可以通過自然語(yǔ)言指令輕松控制圖像的生成和編輯過程，例如指定生成特定風(fēng)格的人物肖像或要求在圖像中添加、刪除或修改某個(gè)元素。
• 多任務(wù)支持：ACE++支持多種圖像處理任務(wù)，包括但不限于：
  • 虛擬試穿：借助ACE++ Subject模型實(shí)現(xiàn)虛擬試穿效果。
  • 標(biāo)志粘貼：將品牌標(biāo)志或元素嵌入到不同物品或場(chǎng)景中。
  • 照片修復(fù)：對(duì)損壞或模糊的照片進(jìn)行修復(fù)和增強(qiáng)。
  • 電影海報(bào)編輯：生成或修改電影海報(bào)，確保人物和場(chǎng)景的一致性。

ACE++的技術(shù)基礎(chǔ)

• 改進(jìn)的長(zhǎng)上下文條件單元（LCU++）：ACE++引入了LCU++輸入范式，通過在通道維度拼接輸入圖像、掩碼和噪聲，形成條件單元（CU）特征圖。這種新方法減少了上下文感知框架的干擾，降低了模型適應(yīng)的成本。LCU++輸入格式能夠擴(kuò)展到無(wú)參考圖像（0-ref）和多參考圖像（N-ref）任務(wù)，增強(qiáng)了模型的適應(yīng)性。
• 兩階段訓(xùn)練方案：ACE++采用兩階段的訓(xùn)練策略。第一階段，模型基于文本到圖像的生成模型進(jìn)行預(yù)訓(xùn)練，專注于0-ref任務(wù)，快速適應(yīng)條件輸入。第二階段，模型在所有數(shù)據(jù)上進(jìn)行微調(diào)，旨在支持通用指令并優(yōu)化模型對(duì)輸入?yún)⒖紙D像的重建能力和目標(biāo)圖像的生成能力。
• 模型架構(gòu)：ACE++整體架構(gòu)結(jié)合了LCU++范式，通過x-embed層將CU特征圖映射為序列化標(biāo)記，用作Transformer層的輸入。模型訓(xùn)練的目標(biāo)是最小化預(yù)測(cè)速度與真實(shí)速度之間的均方誤差，賦予模型上下文感知的生成能力。
• 任務(wù)支持與模型優(yōu)化：ACE++提供了一套工具，支持多種圖像編輯和生成任務(wù)，如肖像一致性、主題一致性和局部編輯等。針對(duì)常見應(yīng)用場(chǎng)景，ACE++訓(xùn)練了輕量級(jí)的領(lǐng)域穩(wěn)定微調(diào)模型，如LoRA策略，以提升模型在特定任務(wù)中的表現(xiàn)。

ACE++的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://ali-vilab.github.io/ACE_plus
• Github倉(cāng)庫(kù)：https://github.com/ali-vilab/ACE_plus
• HuggingFace模型庫(kù)：https://huggingface.co/ali-vilab/ACE_Plus
• arXiv技術(shù)論文：https://arxiv.org/pdf/2501.02487

ACE++的應(yīng)用場(chǎng)景

• 虛擬試穿：通過ACE++ Subject模型，用戶能夠?qū)⒎b或配飾放置于不同人物模型上，創(chuàng)造虛擬試穿的效果。這項(xiàng)功能幫助設(shè)計(jì)師快速評(píng)估設(shè)計(jì)效果，也為電商平臺(tái)提供個(gè)性化的試穿體驗(yàn)。
• 品牌標(biāo)志粘貼：在產(chǎn)品設(shè)計(jì)和廣告制作過程中，ACE++ Subject模型可以將品牌標(biāo)志或設(shè)計(jì)元素嵌入到多種背景或物品上。
• 照片編輯：ACE++支持對(duì)現(xiàn)有照片進(jìn)行全方位的編輯操作，包括風(fēng)格轉(zhuǎn)換、元素增減、背景替換等。
• 電影海報(bào)編輯：利用ACE++ Portrait模型，用戶可以對(duì)電影海報(bào)中的人物肖像進(jìn)行風(fēng)格化處理或修改，調(diào)整表情和服裝風(fēng)格，確保海報(bào)滿足多樣化的宣傳需求。
• 局部編輯：ACE++ LocalEditing模型能夠?qū)D像中特定區(qū)域進(jìn)行重新繪制，同時(shí)保持整體結(jié)構(gòu)和風(fēng)格，適用于修復(fù)照片中的劃痕和污漬，或美化人物的某個(gè)部位。
• 藝術(shù)創(chuàng)作與設(shè)計(jì)：藝術(shù)家和設(shè)計(jì)師可以利用ACE++的生成和編輯功能，輕松實(shí)現(xiàn)創(chuàng)意。根據(jù)文字描述生成初步設(shè)計(jì)草圖，或?qū)σ延性O(shè)計(jì)進(jìn)行風(fēng)格化修改，從而提升創(chuàng)作效率。