全新的圖像編輯與生成范式。

原標題：UniReal登場：用視頻架構統一圖像生成與編輯，還學到真實世界動態變化規律
文章來源：機器之心
內容字數：6122字

UniReal: 一種全新的圖像生成與編輯范式

本文介紹了香港大學與Adobe聯合提出的UniReal，一個創新的圖像編輯與生成框架。該方法通過將多種圖像任務轉換為視頻生成任務，利用大規模真實視頻數據學習多種變化規律，從而實現高保真的生成效果。

1. 研究背景與目標

UniReal旨在統一圖像生成與編輯任務，滿足不同輸入輸出圖像的多樣性需求。視頻生成任務的特點與圖像編輯的核心需求相契合，使得UniReal能夠有效建模圖像變化，提升生成質量。

2. 方法概述

UniReal借鑒了Sora視頻生成架構，將不同的圖像任務視為視頻幀處理。通過VAE編碼和Transformer處理，模型能夠高效融合視覺和文本信息，實現跨模態理解。此外，層級化提示設計（Hierarchical Prompt）幫助模型更好地整合不同任務的數據，提高生成和編輯能力。

3. 數據構造策略

UniReal基于原始視頻數據構建大規模訓練集，采用多層次的數據構造策略，包括編輯數據生成、多目標定制化生成及可控生成與圖像理解標注。這些策略確保模型能夠學習真實世界中的動態變化，從而支持復雜的生成與理解任務。

4. 實驗效果與對比

在多個實驗中，UniReal展現了卓越的性能，尤其是在指令編輯、定制化生成和物體插入任務中。與現有方法相比，UniReal能更好地保持背景一致性、準確模擬物體狀態，并生成高質量的結果。

5. 未來展望

盡管UniReal在多個任務中展現出強大潛力，但訓練與推理效率仍是未來需要解決的挑戰。研究團隊計劃探索更高效的注意力結構，以提升處理速度和降低計算成本，進一步推動模型在視頻生成與編輯任務中的應用。

綜上所述，UniReal通過創新的框架和數據構造策略，為圖像生成與編輯領域帶來了新的可能性，展現出良好的泛化能力和應用前景。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺