Tora是一款由阿里巴巴推出的先進AI視頻生成框架，它利用軌跡導向的擴散變換器（DiT）技術，將文本、視覺信息和軌跡相結合，創造出高質量且符合現實物理動態的視頻內容。該產品包括軌跡提取器、時空DiT以及引導融合器，能夠精確掌控視頻的動態表現，支持生成最長達204幀、720p分辨率的視頻。這一技術在真實感和模擬現實物理動態方面表現卓越，為視頻制作行業帶來了新的強大工具。

Tora是什么

Tora是阿里巴巴推出的一款AI視頻生成框架，通過軌跡導向的擴散變換器（DiT）技術，將文本、視覺信息和軌跡條件整合在一起，生成高品質且符合物理規律的視頻內容。Tora由軌跡提取器、時空DiT和引導融合器三部分組成，能夠精確控制視頻中的動態表現，支持長達204幀的720p高清制作。Tora在表現的真實感和模擬現實動態方面具有顯著優勢，為視頻生成領域提供了強大的新工具。

Tora的主要功能

簡單來說，Tora能夠根據用戶提供的指令（如文字描述、圖片或物體移動的路徑），生成真實且流暢的視頻內容。

• 軌跡提取器（Trajectory Extractor， TE）：將輸入的軌跡轉化為層次化的時空塊，這些塊與視頻內容的潛在空間相匹配。
• 時空擴散變換器（Spatial-Temporal DiT）：結合空間和時間的自注意力機制，處理視頻數據，使模型能夠理解和生成連貫的視頻。
• 引導融合器（Motion-guidance Fuser， MGF）：負責將軌跡提取器生成的時空塊整合到DiT模型中，確保生成的視頻內容遵循預定的軌跡和動態。

Tora的技術原理

• 軌跡理解：Tora利用“軌跡提取器”工具，能夠理解給定的軌跡信息。如同提供一張地圖，指引視頻中物體應在何處及如何移動。
• 時空編碼：Tora將這些軌跡信息轉化為特殊編碼，稱為“時空塊”，它們如同視頻的骨架，決定視頻中物體的方式。
• 視頻生成框架：Tora采用了先進的“擴散變換器”（DiT）技術，結合擴散模型與變換器的優點，使其能夠生成高質量的視頻。
• 動態融合：Tora的“引導融合器”將時空塊與視頻內容相結合，確保生成的視頻不僅畫面美觀，且物體自然流暢。
• 兩階段訓練：為提升對的理解和生成能力，Tora通過兩階段訓練，學習從密集光流中提取信息，并根據用戶提供的簡單軌跡信息生成視頻。
• 數據預處理：在訓練前，Tora需對視頻數據進行處理，將長視頻根據場景檢測分割為短片段，并根據美學評分與分割結果選擇訓練視頻片段。

Tora的項目地址

• 項目官網：https://ali-videoai.github.io/tora_video/
• GitHub倉庫：https://github.com/ali-videoai/Tora
• arXiv技術論文：https://arxiv.org/pdf/2407.21705

Tora的應用場景

• 影視制作：Tora可用于生成電影、電視劇或短片中的特效場景，通過軌跡控制生成復雜的動態畫面，從而節省拍攝成本和時間。
• 動畫創作：在動畫領域，Tora可以根據腳本自動生成動畫序列，為動畫師提供初步動態草圖，加速創作進程。
• 虛擬現實（VR）和增強現實（AR）：Tora可生成與用戶互動的動態環境，為VR和AR應用提供逼真的視覺效果。
• 游戲開發：在電子游戲開發中，Tora可以迅速生成游戲環境和角色動畫，提高游戲設計的效率。

常見問題

• Tora支持哪些格式的視頻生成？ Tora支持720p分辨率的視頻生成，最長可達204幀。
• 如何獲取Tora的使用指南？ 使用指南可在Tora的官網和GitHub倉庫中找到。
• Tora的適用范圍有哪些？ Tora適用于影視制作、動畫創作、VR/AR應用以及游戲開發等多個領域。