OmniCam – 浙大聯合上海交大等高校推出的多模態視頻生成框架

OmniCam是什么

OmniCam 是一款先進的多模態視頻生成框架，利用攝像機控制技術實現高質量視頻的創作。它支持多種輸入模態的組合，用戶可以通過提供文本描述、視頻軌跡或圖像作為參考，精確地操控攝像機的軌跡。OmniCam 結合了大型語言模型（LLM）與視頻擴散模型，能夠生成時空一致的高質量視頻內容。其訓練分為三個階段，包含大規模模型訓練、視頻擴散模型訓練以及強化學習微調，確保生成視頻的準確性和連貫性。

OmniCam的主要功能

• 多模態輸入支持：用戶能夠提供文本或視頻作為軌跡參考，并利用圖像或視頻作為內容參考，實現對攝像機的精準控制。
• 高質量視頻生成：基于大型語言模型和視頻擴散模型，OmniCam 輸出時空一致且高質量的視頻。
• 靈活的攝像機控制：
  • 支持逐幀控制，用戶可設置操作的起始與結束幀。
  • 支持任意方向的復合，包括相機的拉近和推遠，移動與旋轉至任意角度。
  • 提供速度控制，以滿足快速剪輯的需求。
  • 實現多種操作的無縫連接，支持長序列操作，允許連續執行多個指令。
  • 支持常見的特效，例如相機旋轉。
• 數據集支持：引入了 OmniTr 數據集，這是針對多模態相機控制的首個大型數據集，為模型訓練提供了堅實的基礎。

OmniCam的技術原理

• 軌跡規劃：用戶輸入文本或視頻后，OmniCam 會將這些輸入轉化為離散的表示，通過精準的軌跡規劃算法，計算每一幀畫面中攝像機的具置和姿態。具體而言，算法將攝像機圍繞物體中心建模為球面，從而得到軌跡上每一點的空間位置，并轉換為攝像機外參序列。
• 內容渲染：結合用戶提供的內容參考（如圖像或視頻）與規劃好的攝像機軌跡，OmniCam 運用先進的 3D 重建技術，渲染初步視角的視頻幀。在渲染過程中，使用點云、攝像機內參與外參等信息，通過特定算法優化攝像機內參，完成視頻幀的渲染。
• 細節完善：在渲染過程中，OmniCam 的擴散模型會基于自身的先驗知識，對視頻幀進行細節補充，填補空白區域，最終生成完整而精美的視頻。
• 大規模模型訓練：以 Llama3.1 作為骨干網絡進行微調，以訓練大規模模型。
• 視頻擴散模型訓練：專門對視頻擴散模型進行訓練。
• 強化學習微調：凍結下游視頻生成模型，將其作為獎勵模型，利用 PPO 算法對軌跡大模型進行微調，以優化模型性能。

OmniCam的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2504.02312

OmniCam的應用場景

• 影視制作：OmniCam 可以迅速生成復雜的鏡頭，幫助導演和制片人節省設計和拍攝鏡頭的時間與精力，提高制作效率，實現更豐富的創意表達。
• 廣告宣傳：廣告商可以利用 OmniCam 根據不同的宣傳需求快速調整鏡頭角度與軌跡，制作出更具吸引力的廣告視頻，吸引消費者的注意。
• 教育與培訓：OmniCam 能夠生成生動形象的教學視頻，將復雜的概念轉化為簡單易懂的內容。學生通過觀看這些視頻，可以更好地理解和掌握知識，提升學習效果。
• 智能安防：OmniCam 可用于城市治安監控、交通管理及應急指揮等場景，實現多部門視頻資源的整合與協同。

常見問題

• OmniCam的使用難度大嗎？：OmniCam 提供友好的用戶界面，用戶只需按照提示輸入相關信息即可，操作相對簡單。
• 生成視頻的質量如何？：OmniCam 能生成高質量、時空一致的視頻，符合用戶的各種要求。
• 是否支持多種輸入方式？：是的，OmniCam 支持文本、視頻和圖像等多種輸入方式，方便用戶使用。