ACE（All-round Creator and Editor）是阿里巴巴集團Tongyi Lab推出的一款全能圖像生成和編輯模型，基于先進的擴散變換器技術。通過長上下文條件單元（LCU）和統一的條件格式，ACE能夠理解和執行自然語言指令，完成多種視覺生成任務。

ACE是什么

ACE（All-round Creator and Editor）是阿里巴巴集團Tongyi Lab開發的圖像生成與編輯的全能模型，利用擴散變換器技術實現高效的視覺內容創作。其采用了長上下文條件單元（LCU）與統一的條件格式，能夠理解用戶的自然語言指令，并執行多種復雜的視覺生成任務。ACE支持多模態輸入，使其在圖像生成、編輯以及多輪交互等方面表現出色，從而提高了視覺內容創作的效率和靈活性。

ACE的主要功能

• 多模態視覺生成：根據用戶提供的文本指令生成各類圖像，支持風格轉換、對象添加或刪除等多種視覺生成任務。
• 圖像編輯：對現有圖像進行編輯，包括語義編輯、元素編輯（如文本和對象的增減）以及重繪功能（inpainting）。
• 長上下文處理：通過長上下文條件單元（LCU），ACE能夠理解并執行多輪對話中的圖像編輯任務，確保對話歷史的連貫性。
• 高效數據處理：采用先進的數據收集方法，通過合成或聚類流水線獲取成對圖像，并利用微調的大型多模態語言模型生成準確的文本指令。
• 單模型多任務處理：簡化視覺代理的流程，通過單一模型后端快速響應任何圖像創建請求，從而提升整體效率。

ACE的技術原理

• 長上下文條件單元（LCU）：LCU作為一種統一的條件格式，將歷史信息與當前文本指令結合，增強對用戶請求的理解，從而生成更符合期望的圖像。
• 基于Transformer的擴散模型：構建以Transformer為基礎的擴散模型，利用LCU作為輸入，聯合訓練各種生成與編輯任務，從而提升模型的多任務處理能力。
• 條件標記化（Condition Tokenizing）：將文本指令與視覺信息（如圖像和掩碼）分別編碼為序列，并進行合并處理，確保多模態信息的有效對齊。
• 圖像指示嵌入（Image Indicator Embedding）：通過預定義的文本標記指示圖像順序，確保文本指令中提到的圖像順序與條件單元中的圖像序列一致。
• 長上下文注意力塊（Long-context Attention Block）：該模塊基于時間步嵌入（T-Emb）和3D旋轉位置編碼（RoPE），區分不同的空間和幀級圖像嵌入，確保在自注意力和交叉注意力層中，文本與圖像嵌入可以逐幀對齊。

ACE的項目地址

• 項目官網：ali-vilab.github.io/ace-page
• GitHub倉庫：https://github.com/ali-vilab/ACE/
• arXiv技術論文：https://arxiv.org/pdf/2410.00086

ACE的應用場景

• 藝術創作與設計：為藝術家和設計師提供生成或編輯圖像的工具，幫助實現創意構想，提升創作效率。
• 媒體與娛樂：在電影制作中生成關鍵幀或輔助視覺效果，助力游戲開發中的快速原型設計和游戲資產生成。
• 廣告與營銷：為營銷人員快速生成引人注目的廣告圖像及相關營銷材料。
• 教育與培訓：教育工作者可以利用ACE制作定制教材和視覺輔助工具，增強學生學習體驗。
• 電子商務：電商平臺能夠生成產品圖像，或根據客戶需求提供個性化的產品展示。

常見問題

• ACE可以用于哪些類型的圖像生成任務？ ACE支持多種圖像生成任務，包括風格轉換、對象添加和刪除，以及對現有圖像的語義和元素編輯。
• ACE如何理解用戶的自然語言指令？ ACE利用長上下文條件單元（LCU）來處理和理解用戶的自然語言指令，從而生成符合期望的圖像。
• ACE的多模態輸入功能是怎樣的？ ACE支持將文本指令與圖像信息結合處理，使其能夠同時理解和生成多種形式的視覺內容。
• ACE適合哪些行業使用？ ACE可廣泛應用于藝術創作、媒體娛樂、廣告營銷、教育培訓及電子商務等多個領域。