Motion Prompting是一種由Google DeepMind、密歇根大學和布朗大合開發(fā)的視頻生成技術(shù)。該技術(shù)基于軌跡的控制，能夠靈活地指導視頻內(nèi)容的生成。用戶可以通過設(shè)計“提示”，類似于文本提示，激發(fā)視頻模型的多種能力，包括對對象的控制、相機的調(diào)節(jié)以及物理現(xiàn)象的模擬，從而顯著提升視頻生成的靈活性和準確性。

Motion Prompting是什么

Motion Prompting是一項先進的視頻生成技術(shù)，由Google DeepMind、密歇根大學及布朗大學共同推出。該技術(shù)利用軌跡（motion trajectories）來控制和引導視頻內(nèi)容的生成。通過點軌跡作為的表示方式，Motion Prompting能夠編碼從單一到復(fù)雜場景的多種形式。用戶可以設(shè)計“提示”，通過這些提示激發(fā)視頻模型的多種功能，如對象和相機控制、物理現(xiàn)象的模擬等。這項技術(shù)為未來的交互式視頻生成和世界模型查詢開辟了新的可能性。

Motion Prompting的主要功能

• 對象控制：用戶可以通過提示精確控制視頻中具體對象的，例如旋轉(zhuǎn)或移動。
• 相機控制：實現(xiàn)視頻中相機的動態(tài)調(diào)節(jié)，包括平移、旋轉(zhuǎn)及變焦等操作。
• 物理現(xiàn)象模擬：展示視頻中各種物理現(xiàn)象，如流體動力學（水流、煙霧）和剛體動力學。
• 同時對象和相機控制：結(jié)合對象和相機控制的提示，創(chuàng)造復(fù)雜的場景交互效果。
• 拖動式圖像編輯：支持用戶通過拖動操作編輯動態(tài)圖像，增強編輯的直觀性。
• 轉(zhuǎn)移：將一個視頻中的轉(zhuǎn)移至另一個視頻的第一幀，實現(xiàn)的再利用。
• 放大：放大視頻中的微小，使其更為顯著。

Motion Prompting的技術(shù)原理

• 點軌跡表示：采用點軌跡（point trajectories）作為的表示方式，捕捉視頻中任意數(shù)量點的，包括對象特定動作或全局場景的動態(tài)。
• 條件視頻生成模型：在預(yù)訓練的視頻擴散模型基礎(chǔ)上，開發(fā)一個控制網(wǎng)絡(luò)（ControlNet），可接受提示作為條件輸入。
• 提示構(gòu)建：將用戶輸入（如鼠標拖動）轉(zhuǎn)換為點軌跡，或利用計算機視覺技術(shù)根據(jù)高級用戶請求生成詳細的軌跡。
• 軌跡編碼：將點軌跡編碼為空間-時間體積（space-time volume），在每個軌跡訪問的位置放置一個獨特的嵌入向量。
• 模型訓練：使用從視頻中提取的軌跡數(shù)據(jù)訓練模型，根據(jù)軌跡提示生成對應(yīng)視頻。
• 軌跡稀疏度調(diào)整：用戶可以調(diào)整軌跡的稀疏程度，以平衡控制的精細度與視頻模型的度。
• 多任務(wù)處理：通過結(jié)合不同的提示，在單一模型中實現(xiàn)多種復(fù)雜的視頻生成任務(wù)。

Motion Prompting的項目地址

• 項目官網(wǎng)：motion-prompting.github.io
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.02700

Motion Prompting的應(yīng)用場景

• 電影和視頻制作：導演和視頻制作人可以借助該技術(shù)創(chuàng)造復(fù)雜的動態(tài)場景，如特效鏡頭和動作序列，而無需繁瑣的手動動畫。
• 游戲開發(fā)：游戲開發(fā)者能夠生成動態(tài)背景視頻，或為游戲內(nèi)角色和環(huán)境創(chuàng)造生動的互動效果。
• 虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）：在VR和AR應(yīng)用中，創(chuàng)造更自然和真實的虛擬環(huán)境及互動體驗。
• 交互式媒體藝術(shù)：藝術(shù)家能夠創(chuàng)作出新的交互式藝術(shù)作品，觀眾可以通過身體動作與藝術(shù)作品進行互動。
• 教育和培訓：通過模擬真實世界的物理現(xiàn)象和動態(tài)場景，應(yīng)用于教育領(lǐng)域，如物理、工程和醫(yī)學培訓。

常見問題

• Motion Prompting的使用難度如何？：Motion Prompting的設(shè)計旨在用戶友好，用戶可以通過簡單的操作來創(chuàng)建和編輯提示。
• 對設(shè)備有什么要求嗎？：該技術(shù)對計算設(shè)備的要求較高，建議使用性能較強的計算機進行操作。
• 是否支持多種視頻格式？：Motion Prompting支持多種主流視頻格式，以便用戶方便地進行視頻生成和編輯。