DreamOmni – 港中文、字節(jié)等機(jī)構(gòu)共同推出的統(tǒng)一圖像生成和編輯模型

DreamOmni是什么

DreamOmni 是由香港中文大學(xué)、字節(jié)跳動和香港科技大合開發(fā)的一款綜合圖像生成與編輯模型。該模型融合了文本到圖像（T2I）生成技術(shù)以及多種圖像編輯功能，包括指令式編輯、圖像修復(fù)、拖拽編輯和參考圖像生成。DreamOmni 采用了一種高效的合成數(shù)據(jù)管道，旨在解決高質(zhì)量編輯數(shù)據(jù)的創(chuàng)建難題，支持模型的訓(xùn)練與擴(kuò)展。通過聯(lián)合訓(xùn)練T2I與編輯任務(wù)，DreamOmni 強(qiáng)化了對概念的理解，有效提升了圖像生成的質(zhì)量。在多項(xiàng)實(shí)驗(yàn)評估中，DreamOmni 在圖像生成與編輯任務(wù)上展現(xiàn)了顯著的優(yōu)勢。

DreamOmni的主要功能

• 綜合圖像生成與編輯：DreamOmni 能夠處理文本轉(zhuǎn)圖像（T2I）生成及多種圖像編輯任務(wù)，如指令式編輯、修復(fù)（包括修復(fù)和擴(kuò)展）、拖拽編輯以及參考圖像生成。
• 高效合成數(shù)據(jù)管道：通過類似貼紙的元素，DreamOmni 能夠高效、準(zhǔn)確地合成大規(guī)模的高質(zhì)量編輯數(shù)據(jù)，支持統(tǒng)一模型的訓(xùn)練。
• 聯(lián)合訓(xùn)練機(jī)制：將 T2I 數(shù)據(jù)與各類編輯任務(wù)的數(shù)據(jù)結(jié)合進(jìn)行訓(xùn)練，提升模型對特定概念的理解，改善生成質(zhì)量，增強(qiáng)編輯能力。
• 多任務(wù)處理能力：模型具備理解和執(zhí)行添加、移除、替換等操作的能力，同時能夠處理圖像的平移、旋轉(zhuǎn)和縮放等編輯任務(wù)。

DreamOmni的技術(shù)原理

• 框架設(shè)計(jì)理念：將 T2I 模型與多種編輯任務(wù)整合，以實(shí)現(xiàn)多任務(wù)學(xué)習(xí)的目標(biāo)。
• 視覺-語言模型（VLM）：基于 VLM 技術(shù)統(tǒng)一編碼視覺和語言提示，將編碼后的提示與噪聲潛在表示結(jié)合，實(shí)現(xiàn)聯(lián)合計(jì)算。
• 合成數(shù)據(jù)生成機(jī)制：通過合成拼貼數(shù)據(jù)管道，DreamOmni 能夠高效創(chuàng)建精確的編輯數(shù)據(jù)，支持添加、刪除、替換等操作，以及拖拽編輯和參考圖像生成。
• 多模態(tài)輸入兼容性：該框架設(shè)計(jì)簡潔，兼容多模態(tài)輸入，使 DreamOmni 能夠處理復(fù)雜的提示和圖像條件。
• 分階段訓(xùn)練策略：DreamOmni 采用從低分辨率到高分辨率的分階段訓(xùn)練策略，優(yōu)化模型性能和訓(xùn)練效率。
• 優(yōu)化技術(shù)應(yīng)用：使用 Rectified Flow 等技術(shù)優(yōu)化模型，以線性插值的方式在噪聲和數(shù)據(jù)之間進(jìn)行前向過程，提高生成質(zhì)量和效率。

DreamOmni的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：zj-binxia.github.io/DreamOmni-ProjectPage
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.17098

DreamOmni的應(yīng)用場景

• 數(shù)字藝術(shù)創(chuàng)作：藝術(shù)家和設(shè)計(jì)師可以利用 DreamOmni 快速生成或編輯圖像，將創(chuàng)意概念轉(zhuǎn)化為視覺作品。
• 游戲開發(fā)：游戲開發(fā)者可使用該模型創(chuàng)建游戲資產(chǎn)，如角色、環(huán)境與道具，或者對現(xiàn)有游戲元素進(jìn)行編輯。
• 電影與娛樂產(chǎn)業(yè)：在電影制作中，DreamOmni 可用于生成特效背景或編輯現(xiàn)有場景圖像，從而節(jié)省成本和時間。
• 廣告與營銷：營銷人員可以快速生成吸引人的廣告圖像和宣傳材料，以適應(yīng)不同的廣告渠道。
• 教育與培訓(xùn)：在教育領(lǐng)域，DreamOmni 可用于創(chuàng)建教學(xué)材料，如圖解和模擬場景，從而增強(qiáng)學(xué)習(xí)體驗(yàn)。