Self Forcing – Adobe聯合德克薩斯大學推出的視頻生成模型

Self Forcing 是 Adobe Research 與德克薩斯大學奧斯汀分校攜手打造的創新自回歸視頻生成算法。它巧妙解決了傳統生成模型在訓練和測試過程中存在的暴露偏差問題，通過模擬自生成過程，從已生成的幀出發推演后續幀，從而縮小訓練與測試分布的差距。Self Forcing 具備高效的實時視頻生成能力，并支持理論上無限長的視頻生成，為直播、游戲以及實時交互應用帶來了無限可能。

Self Forcing：顛覆視頻生成的革新力量

Self Forcing 是一款由 Adobe Research 與德克薩斯大學奧斯汀分校聯合開發的性自回歸視頻生成算法。它旨在解決傳統生成模型在訓練與測試環節中遭遇的“暴露偏差”難題。通過在訓練階段模擬自生成過程，以先前產生的幀為基礎，預測后續幀，而非依賴真實的幀，從而有效彌合訓練與測試分布的差異。Self Forcing 憑借其卓越的性能，為視頻創作領域帶來了前所未有的可能性。

核心功能一覽

• 迅捷的實時視頻生成：Self Forcing 能夠在單一 GPU 上實現高效的實時視頻生成，幀率高達 17 FPS，延遲低于 1 秒。這項特性使其成為對實時性要求極高的應用的理想選擇。
• 無限延展的視頻創作：借助創新的滾動 KV 緩存機制，Self Forcing 實現了理論上無限長的視頻生成。這意味著您可以持續創作，不受視頻長度的限制，盡情發揮您的創意。
• 卓越的訓練與測試統一性：Self Forcing 在訓練階段模擬自生成過程，使用生成的幀作為條件預測后續幀，而非依賴真實幀。這種策略有效解決了自回歸生成中的暴露偏差問題，提升了生成視頻的質量和穩定性。
• 資源友好型設計：Self Forcing 優化了計算資源的使用，能夠在單張 RTX 4090 顯卡上流暢地進行流式視頻生成，降低了對硬件的依賴，使其更易于部署和應用。
• 賦能多模態內容創作：Self Forcing 的高效性和實時性使其能夠為多模態內容創作提供強大支持，例如在游戲直播中實時生成背景或特效，或者在虛擬現實體驗中動態生成視覺內容，為創作者提供了更廣闊的應用空間。

技術亮點解析

• 自回歸展開與全局損失優化：Self Forcing 在訓練階段模擬推理時的自回歸生成過程，即每一幀的生成都基于模型自身之前生成的幀，而非真實幀。通過視頻級別的整體分布匹配損失函數對整個生成序列進行監督，不僅是逐幀評估。模型能直接從自身預測的錯誤中學習，有效減輕暴露偏差。
• 滾動 KV 緩存機制：為了支持長視頻生成，Self Forcing 引入了滾動鍵值（KV）緩存機制。該機制維護一個固定大小的緩存區，存儲最近幾幀的 KV 嵌入。當生成新幀時，緩存區會移除最舊的條目并添加新的嵌入。
• 少步擴散模型與梯度截斷策略：為了提高訓練效率，Self Forcing 采用了少步擴散模型，結合隨機梯度截斷策略。具體來說，模型在訓練時隨機選擇去噪步驟的數量，并僅對最終去噪步驟執行反向傳播。
• 動態條件生成機制：在生成每一幀時，Self Forcing 動態結合兩類條件輸入：過去時間步已生成的清晰幀和當前時間步的噪聲幀。通過迭代去噪完成生成，確保了生成過程的連貫性和自然性。

探索 Self Forcing 的世界

想了解更多關于 Self Forcing 的信息？以下是您深入探索的渠道：

• 項目官網：https://self-forcing.github.io/
• Github 倉庫：https://github.com/guandeh17/Self-Forcing
• arXiv 技術論文：https://arxiv.org/pdf/2506.08009

應用場景展望

• 直播與實時視頻流：Self Forcing 具備出色的實時生成能力，非常適合在直播場景中使用，例如實時生成虛擬背景、特效或動態場景，為觀眾帶來耳目一新的視覺體驗。
• 游戲開發：在游戲開發領域，Self Forcing 可以實時生成游戲場景和特效，無需預先制作大量的視頻資源。根據玩家的實時操作生成動態的環境變化或特效，增強游戲的沉浸感和交互性。
• 虛擬現實與增強現實：Self Forcing 的低延遲和高效生成能力為虛擬現實（VR）和增強現實（AR）應用提供了實時的視覺內容。在 VR 體驗中實時生成逼真的虛擬場景，或在 AR 應用中實時疊加虛擬元素。
• 內容創作與視頻編輯：Self Forcing 可以用于短視頻創作工具，幫助創作者快速生成高質量的視頻內容。
• 世界模擬與訓練：Self Forcing 可以用于世界模擬和訓練場景，例如生成逼真的自然環境或城市景觀，用于軍事訓練、城市規劃或環境模擬。

常見問題解答

以下是一些關于 Self Forcing 的常見問題：

• Self Forcing 與傳統視頻生成模型的區別是什么？ Self Forcing 通過模擬自生成過程，有效解決了傳統模型在訓練和測試中存在的暴露偏差問題，從而提升了視頻生成質量和穩定性。
• Self Forcing 的實時性能如何？ Self Forcing 能夠在單個 GPU 上實現 17 FPS 的幀率，并且延遲低于 1 秒，具備出色的實時性能。
• Self Forcing 支持生成多長時間的視頻？ 借助滾動 KV 緩存機制，Self Forcing 支持理論上無限長的視頻生成。
• Self Forcing 的應用前景是什么？ Self Forcing 在直播、游戲、虛擬現實、增強現實、內容創作等領域具有廣泛的應用前景，將為這些領域帶來性的變革。