ReCapture是一項由谷歌和新加坡國立大合開發的視頻處理技術，能夠從單一用戶提供的視頻中生成具有新相機軌跡的新視頻。該技術運用多視圖擴散模型及基于深度的點云渲染，創造出帶有新相機視角的噪聲錨視頻，并通過掩碼視頻微調技術，將錨視頻轉化為清晰且時間一致的重角度視頻，同時保留原視頻中的場景動態，從而以全新的視角展現場景。

ReCapture是什么

ReCapture是一個創新的視頻處理工具，旨在從用戶上傳的源視頻中生成具有全新相機軌跡的視覺內容。該技術通過多視圖擴散模型及深度點云渲染生成帶有新視角的初步視頻，并借助掩碼視頻微調技術，將這一初步視頻轉換為干凈、時間一致的高質量再現視頻，確保原始視頻中的場景得以保留。這種技術還能夠合理地推測出未在原視頻中展示的場景部分，增強視頻的完整性。

ReCapture的主要功能

• 新視角視頻生成：從用戶提供的源視頻中創建全新的相機軌跡，支持從不同角度觀察同一場景。
• 保留場景動態：在生成新視角視頻時，確保保留源視頻中的所有現有場景動態。
• 高級相機模擬：模擬電影級的相機，如平移、縮放和傾斜，增強視頻的視覺吸引力。
• 場景補全能力：能夠合理想象并補全源視頻中未顯示的場景部分，提高視頻內容的完整性。
• 視頻質量提升：運用掩碼視頻微調技術，將帶有噪聲的錨視頻轉化為清晰、時間一致的高質量視頻。

ReCapture的技術原理

• 錨視頻生成：
  • 深度估計與點云渲染：通過逐幀深度估計，將視頻幀轉換為3D點云序列，根據用戶指定的相機模擬新視角，渲染點云序列生成新的視頻幀。
  • 多視圖擴散模型：對于復雜的相機軌跡，利用多視圖擴散模型生成新視角的視頻幀。
• 掩碼視頻微調：
  • 時間LoRA（低秩適應）：在掩碼錨視頻上微調時間LoRA，以學習場景的動態特征，專注于有意義的像素部分，忽略未知區域。
  • 空間LoRA：在源視頻的增強幀上微調空間LoRA，以學習場景的外觀，確保填補的像素與原視頻像素無縫融合。
• 視頻模型的強先驗：利用強先驗知識，在掩碼區域自動填充合理內容，從而顯著提高視頻的時間一致性，消除錨視頻中的抖動。

ReCapture的項目地址

• 項目官網：generative-video-camera-controls.github.io
• arXiv技術論文：https://arxiv.org/pdf/2411.05003

ReCapture的應用場景

• 電影和視頻制作：電影制作人可以重新編輯和調整已拍攝的視頻，改變原有的相機角度和，創造新的視覺效果或改善場景構圖。
• 視頻編輯與后期制作：視頻編輯者能夠修正或增強視頻內容，例如，改變相機視角以突出關鍵元素或消除不需要的背景。
• 虛擬現實（VR）和增強現實（AR）：在VR和AR應用中，生成更加沉浸式和互動式的視頻內容，提供多角度觀察場景的能力。
• 新聞和紀錄片：記者和紀錄片制作者可以從多個角度展示新聞故事或歷史，增加報道的深度與維度。
• 體育賽事直播：體育賽事的直播可以提供更多視角，讓觀眾從不同的相機角度體驗比賽，提升觀賽體驗。

常見問題

• ReCapture能處理哪些類型的視頻？：ReCapture可以處理各種類型的視頻，包括拍攝的電影片段、紀錄片、體育賽事等。
• 用戶需要提供什么樣的視頻素材？：用戶需要提供清晰的源視頻，以便系統能夠準確生成新視角視頻。
• 生成新視頻需要多長時間？：生成新視頻的時間依據視頻的長度和復雜性而有所不同，一般在幾分鐘到數小時內完成。