ObjectMover

ObjectMover – 港大聯合 Adobe 推出的新型圖像編輯模型

ObjectMover 是一款由香港大學與 Adobe Research 聯合研發的先進圖像編輯模型，旨在解決圖像中物體移動、插入和移除時所帶來的光照、陰影不協調及物體失真等問題。該模型將物體移動視為兩幀視頻的特殊情況，利用預訓練的視頻生成模型的跨幀一致性學習能力，通過微調將其應用于圖像編輯任務。

ObjectMover是什么

ObjectMover 是香港大學與 Adobe Research 聯合推出的一種創新圖像編輯模型，專注于解決在圖像中進行物體移動、插入和移除時常見的光照、陰影不匹配及物體失真等問題。該模型將物體移動視作特殊的兩幀視頻案例，借助預訓練的視頻生成模型（如擴散模型）進行跨幀一致性學習，通過微調實現從視頻生成任務向圖像編輯任務的遷移。模型采用序列到序列建模方法，輸入包括原始圖像、目標物體圖像和指令圖，輸出為移動后的合成圖像。

ObjectMover的主要功能

• 物體移動：可以將圖像中的物體移動到指定位置，自動調整相關的物理效果，包括光照、陰影和反射，同時保持物體的特征一致性。
• 物體刪除：能夠真實地填補被移除物體的背景，避免生成不相關的新物體，并準確移除與物體相關的光影。
• 物體插入：確保入物體的身份特征得以精準保持，并自動生成與環境相符的光影效果。

ObjectMover的技術原理

• 視頻先驗遷移：ObjectMover將物體移動視為兩幀視頻的任務，利用預訓練的視頻生成模型實現跨幀一致性學習。通過微調模型，使其從視頻生成任務有效遷移至圖像編輯任務，充分利用在預訓練中獲得的物理規律和物體對應關系，從而精確實現光影同步與身份特征的保持。
• 序列到序列建模：該模型將物體移動問題重構為序列預測任務，輸入包括原始圖像、目標物體圖像及指令圖（標注移動位置與方向），輸出為合成的移動圖像。這種方法使模型在理解和處理物體在不同位置下的光影變化及遮擋關系上表現得更為出色。
• 合成數據集構建：鑒于缺乏大規模物體移動的真實數據，研究團隊利用現代游戲引擎（如虛幻引擎）生成高質量合成數據對。這些數據涵蓋復雜的光照、材質和遮擋場景，極大增強了模型訓練的多樣性和泛化能力。
• 多任務學習策略：ObjectMover結合物體移動、移除、插入及視頻數據插入四個子任務，通過統一框架在合成數據與真實視頻數據上進行訓練。這種策略提升了模型對真實場景的泛化能力，使其在多種圖像編輯任務中展現出更高的適應性和魯棒性。

ObjectMover的項目地址

• 項目官網：https://xinyu-andy.github.io/ObjMover/
• arXiv技術論文：https://arxiv.org/pdf/2503.08037

ObjectMover的應用場景

• 特效制作：在復雜特效場景中，如物體消失或出現，ObjectMover能夠實現物體的刪除與插入，同時保持場景的真實性。
• 虛擬場景編輯：在虛擬現實與游戲開發中，需要對虛擬場景中的物體進行靈活調整，ObjectMover可用于移動場景內的物體，確保物體的光照和陰影與環境保持一致。
• 游戲關卡設計：開發者可以借助ObjectMover快速調整關卡中的物體布局，從而提高關卡設計的效率。
• 產品展示：在產品廣告中，ObjectMover可以將產品放置于不同場景中，展示其多樣的使用情況。
• 空間規劃：在建筑與室內設計領域，ObjectMover能夠幫助將家具或裝飾品移動至不同的位置，以評估各類設計方案。

常見問題

• ObjectMover能用于哪些圖像編輯任務？ ObjectMover主要用于物體的移動、插入和刪除，適用于各種圖像編輯場景。
• 該模型是否支持實時處理？ 雖然模型設計上注重高效性，但具體的實時處理能力取決于硬件配置和圖像復雜性。
• 如何獲取ObjectMover的使用權限？ 用戶可以通過項目官網獲取相關信息以及使用說明。