ObjectMover – 港大聯(lián)合 Adobe 推出的新型圖像編輯模型

ObjectMover 是一款由香港大學(xué)與 Adobe Research 聯(lián)合研發(fā)的先進(jìn)圖像編輯模型，旨在解決圖像中物體移動、插入和移除時所帶來的光照、陰影不協(xié)調(diào)及物體失真等問題。該模型將物體移動視為兩幀視頻的特殊情況，利用預(yù)訓(xùn)練的視頻生成模型的跨幀一致性學(xué)習(xí)能力，通過微調(diào)將其應(yīng)用于圖像編輯任務(wù)。

ObjectMover是什么

ObjectMover 是香港大學(xué)與 Adobe Research 聯(lián)合推出的一種創(chuàng)新圖像編輯模型，專注于解決在圖像中進(jìn)行物體移動、插入和移除時常見的光照、陰影不匹配及物體失真等問題。該模型將物體移動視作特殊的兩幀視頻案例，借助預(yù)訓(xùn)練的視頻生成模型（如擴(kuò)散模型）進(jìn)行跨幀一致性學(xué)習(xí)，通過微調(diào)實(shí)現(xiàn)從視頻生成任務(wù)向圖像編輯任務(wù)的遷移。模型采用序列到序列建模方法，輸入包括原始圖像、目標(biāo)物體圖像和指令圖，輸出為移動后的合成圖像。

ObjectMover的主要功能

• 物體移動：可以將圖像中的物體移動到指定位置，自動調(diào)整相關(guān)的物理效果，包括光照、陰影和反射，同時保持物體的特征一致性。
• 物體刪除：能夠真實(shí)地填補(bǔ)被移除物體的背景，避免生成不相關(guān)的新物體，并準(zhǔn)確移除與物體相關(guān)的光影。
• 物體插入：確保入物體的身份特征得以精準(zhǔn)保持，并自動生成與環(huán)境相符的光影效果。

ObjectMover的技術(shù)原理

• 視頻先驗(yàn)遷移：ObjectMover將物體移動視為兩幀視頻的任務(wù)，利用預(yù)訓(xùn)練的視頻生成模型實(shí)現(xiàn)跨幀一致性學(xué)習(xí)。通過微調(diào)模型，使其從視頻生成任務(wù)有效遷移至圖像編輯任務(wù)，充分利用在預(yù)訓(xùn)練中獲得的物理規(guī)律和物體對應(yīng)關(guān)系，從而精確實(shí)現(xiàn)光影同步與身份特征的保持。
• 序列到序列建模：該模型將物體移動問題重構(gòu)為序列預(yù)測任務(wù)，輸入包括原始圖像、目標(biāo)物體圖像及指令圖（標(biāo)注移動位置與方向），輸出為合成的移動圖像。這種方法使模型在理解和處理物體在不同位置下的光影變化及遮擋關(guān)系上表現(xiàn)得更為出色。
• 合成數(shù)據(jù)集構(gòu)建：鑒于缺乏大規(guī)模物體移動的真實(shí)數(shù)據(jù)，研究團(tuán)隊(duì)利用現(xiàn)代游戲引擎（如虛幻引擎）生成高質(zhì)量合成數(shù)據(jù)對。這些數(shù)據(jù)涵蓋復(fù)雜的光照、材質(zhì)和遮擋場景，極大增強(qiáng)了模型訓(xùn)練的多樣性和泛化能力。
• 多任務(wù)學(xué)習(xí)策略：ObjectMover結(jié)合物體移動、移除、插入及視頻數(shù)據(jù)插入四個子任務(wù)，通過統(tǒng)一框架在合成數(shù)據(jù)與真實(shí)視頻數(shù)據(jù)上進(jìn)行訓(xùn)練。這種策略提升了模型對真實(shí)場景的泛化能力，使其在多種圖像編輯任務(wù)中展現(xiàn)出更高的適應(yīng)性和魯棒性。

ObjectMover的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://xinyu-andy.github.io/ObjMover/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.08037

ObjectMover的應(yīng)用場景

• 特效制作：在復(fù)雜特效場景中，如物體消失或出現(xiàn)，ObjectMover能夠?qū)崿F(xiàn)物體的刪除與插入，同時保持場景的真實(shí)性。
• 虛擬場景編輯：在虛擬現(xiàn)實(shí)與游戲開發(fā)中，需要對虛擬場景中的物體進(jìn)行靈活調(diào)整，ObjectMover可用于移動場景內(nèi)的物體，確保物體的光照和陰影與環(huán)境保持一致。
• 游戲關(guān)卡設(shè)計：開發(fā)者可以借助ObjectMover快速調(diào)整關(guān)卡中的物體布局，從而提高關(guān)卡設(shè)計的效率。
• 產(chǎn)品展示：在產(chǎn)品廣告中，ObjectMover可以將產(chǎn)品放置于不同場景中，展示其多樣的使用情況。
• 空間規(guī)劃：在建筑與室內(nèi)設(shè)計領(lǐng)域，ObjectMover能夠幫助將家具或裝飾品移動至不同的位置，以評估各類設(shè)計方案。

常見問題

• ObjectMover能用于哪些圖像編輯任務(wù)？ ObjectMover主要用于物體的移動、插入和刪除，適用于各種圖像編輯場景。
• 該模型是否支持實(shí)時處理？ 雖然模型設(shè)計上注重高效性，但具體的實(shí)時處理能力取決于硬件配置和圖像復(fù)雜性。
• 如何獲取ObjectMover的使用權(quán)限？ 用戶可以通過項(xiàng)目官網(wǎng)獲取相關(guān)信息以及使用說明。