Boximator

AI工具6個月前發布 AI工具集

682 0 0

Boximator是一款由字節跳動研究團隊開發的先進視頻合成技術，旨在生成更加豐富且可控的，從而提升視頻合成的質量與靈活性。該技術采用了兩種類型的約束框（硬框與軟框），使得用戶能夠對視頻中的對象進行精準的定位、形狀調整及路徑控制。

Boximator是什么？

Boximator是一種創新的視頻合成技術，由字節跳動的研究團隊研發，旨在提升視頻合成的質量和可控性。通過引入硬框和軟框兩種約束機制，Boximator使用戶能夠對視頻中的對象進行細致的控制。

官方網站：https://boximator.github.io/
研究論文：https://arxiv.org/abs/2402.01566

Boximator

Boximator的工作原理

Boximator的運作基于視頻擴散模型，通過引入新的控制機制來提高視頻合成的精細程度和靈活性。以下是Boximator的工作流程：

對象選擇與框定義：
- 用戶可以在視頻的起始幀或條件幀中使用硬框（Hard Box）來精確選擇和定位對象，這些框定義了對象的具體邊界。
- 在需要較寬松控制的情況下，用戶可使用軟框（Soft Box）來定義對象的大致活動區域，允許對象在該區域內移動。
對象ID與框關聯：
- Boximator為每個對象分配一個唯一的對象ID，并以RGB顏色空間進行表示，使得每個框都有獨特的“顏色”。這樣，模型可以跨幀跟蹤和控制相同的對象。
視頻擴散模型集成：
- Boximator作為一個插件，與已有的視頻擴散模型（如PixelDance和ModelScope）相結合。在訓練期間，基礎模型的權重被凍結，以保留其預訓練的知識，僅訓練新增的控制模塊。
自跟蹤技術：
- 為簡化框與對象之間的關聯學習，Boximator引入了自跟蹤技術。模型在訓練階段生成與對象ID對應的彩色邊界框，確保每一幀中生成正確的框并與Boximator的約束相一致。
多階段訓練過程：
- Boximator的訓練分為三個階段。第一階段使用硬框約束，幫助模型建立對坐標和ID的基本理解。第二階段引入軟框，通過隨機擴展硬框增加訓練難度。第三階段繼續使用軟框，但不生成可見的邊界框，而是讓模型內部保留這種關聯。
推理階段：
- 在生成視頻的推理階段，Boximator在用戶定義的框之外的幀中插入軟框，這些軟框通過線性插值和放松處理生成，確保對象大致遵循預期軌跡，同時給予模型足夠的靈活性以引入變化。
控制與質量評估：
- 通過平均精度（AP）分數評估控制的準確性，比較生成視頻中的檢測到的邊界框與真實邊界框的一致性。
- 視頻質量則通過Fréchet Video Distance（FVD）分數和CLIP相似性分數（CLIPSIM）進行衡量。

通過這些步驟，Boximator實現了對視頻合成中對象的精細控制，同時保持了視頻的高質量和真實感。

Boximator

Boximator的應用場景

電影和電視制作：在電影和電視劇的后期制作中，Boximator可以用于生成或修改場景，例如添加或刪除角色、調整動作場景或創造復雜的特效，從而省去昂貴的現場拍攝成本。
游戲開發：游戲開發者可以利用Boximator創建動態的游戲場景和角色動畫，尤其是在需要高度定制化或快速迭代內容時，這將顯著節省開發時間與成本。
虛擬現實與增強現實內容創作：在VR和AR領域，Boximator可以用來生成逼真的虛擬環境和交互式對象，為用戶提供沉浸式體驗。