TrajectoryCrafter

TrajectoryCrafter – 騰訊和港中文推出的單目視頻運鏡技術(shù)

TrajectoryCrafter是什么

TrajectoryCrafter是騰訊PCG ARC Lab與香港中文大合推出的一種創(chuàng)新技術(shù)，旨在對單目視頻的相機軌跡進行重定向。這一方法允許用戶在后期制作中調(diào)整視頻的相機位置和角度，實現(xiàn)運鏡方式的靈活變換。TrajectoryCrafter的核心基于解耦視圖變換和內(nèi)容生成，通過雙流條件視頻擴散模型，將點云渲染與源視頻結(jié)合，能夠精確控制用戶指定的相機軌跡，實現(xiàn)高質(zhì)量的4D內(nèi)容生成。此外，該系統(tǒng)采用雙重重投影策略，并結(jié)合動態(tài)單目視頻與靜態(tài)多視角數(shù)據(jù)進行模型訓(xùn)練，顯著提升了在多樣化場景中的適應(yīng)能力。TrajectoryCrafter在多視角及大規(guī)模單目視頻數(shù)據(jù)集上展現(xiàn)了卓越的表現(xiàn)，能夠生成高保真度且與原視頻一致的新型軌跡視頻，為用戶帶來全新的沉浸式視頻體驗。

TrajectoryCrafter的主要功能

• 精確軌跡控制：用戶可以指定任意相機軌跡（包括平移、旋轉(zhuǎn)和縮放），生成與之相匹配的視頻內(nèi)容。
• 高保真視頻生成：所生成的視頻在視覺效果上與原視頻高度一致，具備豐富的細節(jié)與紋理。
• 4D一致性：生成的視頻在空間上與目標軌跡保持一致，同時在時間上與原視頻保持連貫，避免內(nèi)容漂移或閃爍現(xiàn)象。
• 多樣化場景適應(yīng)性：模型能夠適應(yīng)各種場景，包括室內(nèi)、室外及動態(tài)場景，展現(xiàn)良好的泛化能力。

TrajectoryCrafter的技術(shù)原理

• 雙流條件視頻擴散模型：
  • 解耦視圖變換與內(nèi)容生成：將相機軌跡的確定性變換與內(nèi)容生成的隨機性進行分開處理。通過點云渲染實現(xiàn)精確的視圖變換，并利用視頻擴散模型生成高質(zhì)量內(nèi)容。
  • 雙流條件機制：模型包含兩個條件輸入：點云渲染（用于精確控制視圖變換）和源視頻（提供細節(jié)與紋理）。使用獨特的Ref-DiT模塊（參考條件擴散變換器），通過交叉注意力機制將源視頻的細節(jié)信息注入生成過程中，從而提升生成視頻的保真度。
• 動態(tài)點云渲染：通過深度估計將單目視頻轉(zhuǎn)換為動態(tài)點云，并根據(jù)用戶指定的相機軌跡渲染新視圖。點云渲染能準確捕捉幾何關(guān)系和視圖變換，提供幾何指導(dǎo)。
• 混合數(shù)據(jù)集與訓(xùn)練策略：采用混合數(shù)據(jù)集策略，將網(wǎng)絡(luò)規(guī)模的單目視頻與靜態(tài)多視角數(shù)據(jù)結(jié)合進行訓(xùn)練。對于單目視頻，運用雙重重投影策略生成大規(guī)模訓(xùn)練樣本。具體方法是通過深度估計將視頻轉(zhuǎn)換為點云，渲染新視圖后再重新投影回原始視角，從而模擬點云渲染效果。模型的訓(xùn)練分為兩個階段，第一階段專注于視圖變換的準確性和缺失區(qū)域的合成，第二階段則利用多視角數(shù)據(jù)集訓(xùn)練，以提升生成視頻與源視頻的一致性。

TrajectoryCrafter的項目地址

• 項目官網(wǎng)：https://trajectorycrafter.github.io/
• GitHub倉庫：https://github.com/TrajectoryCrafter/TrajectoryCrafter
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.05638
• 在線體驗Demo：https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter

TrajectoryCrafter的應(yīng)用場景

• 沉浸式娛樂：用于虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR），讓用戶能夠切換觀看視角，增強沉浸感。
• 創(chuàng)意視頻制作：幫助影視和短視頻創(chuàng)作者添加新視角效果，提升內(nèi)容的吸引力。
• 智能視頻會議：動態(tài)調(diào)整會議視角，聚焦特定區(qū)域或人員，提升交互性。
• 自動駕駛與機器人：生成多視角的駕駛或?qū)Ш綀鼍埃糜谒惴ǖ挠?xùn)練和測試。
• 教育與培訓(xùn)：創(chuàng)建多視角教學(xué)視頻，幫助學(xué)生更好地理解和學(xué)習(xí)。