GPDiT – 清華北大聯合階躍星辰等推出的視頻生成模型

GPDiT是什么

GPDiT（Generative Pre-trained Autoregressive Diffusion Transformer）是由北京大學、清華大學、StepFun公司及中國科學技術大學共同研發的一種前沿視頻生成模型。該模型巧妙地結合了擴散模型與自回歸模型的優點，通過自回歸方式有效預測潛在的未來幀，能夠自然地建模動態及其語義一致性。GPDiT還引入了一種輕量級的因果注意力機制，以降低計算成本，并采用無參數的旋轉基時間條件策略，成功編碼時間信息。GPDiT在視頻生成、視頻表示以及少樣本學習等任務中展現了卓越的性能，證明了其在多種視頻建模應用中的廣泛適應性和靈活性。

GPDiT的主要功能

• 高質量視頻生成：生成具有高時間一致性和流暢的長序列視頻。
• 視頻表示學習：結合自回歸建模與擴散過程，深度學習視頻的語義和動態表示，以用于后續任務。
• 少樣本學習：能夠迅速適應多種視頻處理任務，如風格轉換和邊緣檢測等。
• 多任務學習：支持多種視頻處理功能，包括灰度轉換、深度估計和人物檢測等。

GPDiT的技術原理

• 自回歸擴散框架：通過自回歸預測未來的潛在幀，自然建模動態與語義一致性。
• 輕量級因果注意力：引入輕量級因果注意力機制，避免在訓練過程中對干凈幀間的注意力計算，從而降低計算成本，同時不影響生成效果。
• 旋轉基時間條件機制：提出一種無參數的旋轉基時間條件策略，將噪聲注入過程重新定義為數據與噪聲分量在復平面上的旋轉，去除了adaLN-Zero及相關參數，有效地編碼時間信息。
• 連續潛在空間：在連續潛在空間中進行建模，增強了生成質量與表示能力。

GPDiT的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2505.07344

GPDiT的應用場景

• 視頻創作：用于生成高質量視頻，廣泛應用于廣告、影視、動畫等領域。
• 視頻編輯：實現風格轉換、色彩調整、分辨率提升等編輯功能。
• 少樣本學習：快速適應人物檢測、邊緣檢測等多種任務。
• 內容理解：自動進行視頻內容的標注、分類與檢索。
• 創意生成：激發藝術家和設計師的靈感，生成具有藝術風格的視頻。

常見問題

• GPDiT的主要優勢是什么？ GPDiT結合了擴散模型和自回歸模型的優勢，能夠高效生成高質量的視頻，并在多項任務中表現出色。
• GPDiT適合哪些領域的應用？ GPDiT廣泛適用于視頻創作、編輯、少樣本學習及內容理解等多個領域。
• 如何獲取GPDiT的技術文檔？ 您可以通過訪問arXiv獲取GPDiT的技術論文。