Self Forcing – Adobe聯(lián)合德克薩斯大學(xué)推出的視頻生成模型

Self Forcing 是 Adobe Research 與德克薩斯大學(xué)奧斯汀分校攜手打造的創(chuàng)新自回歸視頻生成算法。它巧妙解決了傳統(tǒng)生成模型在訓(xùn)練和測試過程中存在的暴露偏差問題，通過模擬自生成過程，從已生成的幀出發(fā)推演后續(xù)幀，從而縮小訓(xùn)練與測試分布的差距。Self Forcing 具備高效的實時視頻生成能力，并支持理論上無限長的視頻生成，為直播、游戲以及實時交互應(yīng)用帶來了無限可能。

Self Forcing：顛覆視頻生成的革新力量

Self Forcing 是一款由 Adobe Research 與德克薩斯大學(xué)奧斯汀分校聯(lián)合開發(fā)的性自回歸視頻生成算法。它旨在解決傳統(tǒng)生成模型在訓(xùn)練與測試環(huán)節(jié)中遭遇的“暴露偏差”難題。通過在訓(xùn)練階段模擬自生成過程，以先前產(chǎn)生的幀為基礎(chǔ)，預(yù)測后續(xù)幀，而非依賴真實的幀，從而有效彌合訓(xùn)練與測試分布的差異。Self Forcing 憑借其卓越的性能，為視頻創(chuàng)作領(lǐng)域帶來了前所未有的可能性。

核心功能一覽

• 迅捷的實時視頻生成：Self Forcing 能夠在單一 GPU 上實現(xiàn)高效的實時視頻生成，幀率高達(dá) 17 FPS，延遲低于 1 秒。這項特性使其成為對實時性要求極高的應(yīng)用的理想選擇。
• 無限延展的視頻創(chuàng)作：借助創(chuàng)新的滾動 KV 緩存機制，Self Forcing 實現(xiàn)了理論上無限長的視頻生成。這意味著您可以持續(xù)創(chuàng)作，不受視頻長度的限制，盡情發(fā)揮您的創(chuàng)意。
• 卓越的訓(xùn)練與測試統(tǒng)一性：Self Forcing 在訓(xùn)練階段模擬自生成過程，使用生成的幀作為條件預(yù)測后續(xù)幀，而非依賴真實幀。這種策略有效解決了自回歸生成中的暴露偏差問題，提升了生成視頻的質(zhì)量和穩(wěn)定性。
• 資源友好型設(shè)計：Self Forcing 優(yōu)化了計算資源的使用，能夠在單張 RTX 4090 顯卡上流暢地進(jìn)行流式視頻生成，降低了對硬件的依賴，使其更易于部署和應(yīng)用。
• 賦能多模態(tài)內(nèi)容創(chuàng)作：Self Forcing 的高效性和實時性使其能夠為多模態(tài)內(nèi)容創(chuàng)作提供強大支持，例如在游戲直播中實時生成背景或特效，或者在虛擬現(xiàn)實體驗中動態(tài)生成視覺內(nèi)容，為創(chuàng)作者提供了更廣闊的應(yīng)用空間。

技術(shù)亮點解析

• 自回歸展開與全局損失優(yōu)化：Self Forcing 在訓(xùn)練階段模擬推理時的自回歸生成過程，即每一幀的生成都基于模型自身之前生成的幀，而非真實幀。通過視頻級別的整體分布匹配損失函數(shù)對整個生成序列進(jìn)行監(jiān)督，不僅是逐幀評估。模型能直接從自身預(yù)測的錯誤中學(xué)習(xí)，有效減輕暴露偏差。
• 滾動 KV 緩存機制：為了支持長視頻生成，Self Forcing 引入了滾動鍵值（KV）緩存機制。該機制維護(hù)一個固定大小的緩存區(qū)，存儲最近幾幀的 KV 嵌入。當(dāng)生成新幀時，緩存區(qū)會移除最舊的條目并添加新的嵌入。
• 少步擴(kuò)散模型與梯度截斷策略：為了提高訓(xùn)練效率，Self Forcing 采用了少步擴(kuò)散模型，結(jié)合隨機梯度截斷策略。具體來說，模型在訓(xùn)練時隨機選擇去噪步驟的數(shù)量，并僅對最終去噪步驟執(zhí)行反向傳播。
• 動態(tài)條件生成機制：在生成每一幀時，Self Forcing 動態(tài)結(jié)合兩類條件輸入：過去時間步已生成的清晰幀和當(dāng)前時間步的噪聲幀。通過迭代去噪完成生成，確保了生成過程的連貫性和自然性。

探索 Self Forcing 的世界

想了解更多關(guān)于 Self Forcing 的信息？以下是您深入探索的渠道：

• 項目官網(wǎng)：https://self-forcing.github.io/
• Github 倉庫：https://github.com/guandeh17/Self-Forcing
• arXiv 技術(shù)論文：https://arxiv.org/pdf/2506.08009

應(yīng)用場景展望

• 直播與實時視頻流：Self Forcing 具備出色的實時生成能力，非常適合在直播場景中使用，例如實時生成虛擬背景、特效或動態(tài)場景，為觀眾帶來耳目一新的視覺體驗。
• 游戲開發(fā)：在游戲開發(fā)領(lǐng)域，Self Forcing 可以實時生成游戲場景和特效，無需預(yù)先制作大量的視頻資源。根據(jù)玩家的實時操作生成動態(tài)的環(huán)境變化或特效，增強游戲的沉浸感和交互性。
• 虛擬現(xiàn)實與增強現(xiàn)實：Self Forcing 的低延遲和高效生成能力為虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）應(yīng)用提供了實時的視覺內(nèi)容。在 VR 體驗中實時生成逼真的虛擬場景，或在 AR 應(yīng)用中實時疊加虛擬元素。
• 內(nèi)容創(chuàng)作與視頻編輯：Self Forcing 可以用于短視頻創(chuàng)作工具，幫助創(chuàng)作者快速生成高質(zhì)量的視頻內(nèi)容。
• 世界模擬與訓(xùn)練：Self Forcing 可以用于世界模擬和訓(xùn)練場景，例如生成逼真的自然環(huán)境或城市景觀，用于軍事訓(xùn)練、城市規(guī)劃或環(huán)境模擬。

常見問題解答

以下是一些關(guān)于 Self Forcing 的常見問題：

• Self Forcing 與傳統(tǒng)視頻生成模型的區(qū)別是什么？ Self Forcing 通過模擬自生成過程，有效解決了傳統(tǒng)模型在訓(xùn)練和測試中存在的暴露偏差問題，從而提升了視頻生成質(zhì)量和穩(wěn)定性。
• Self Forcing 的實時性能如何？ Self Forcing 能夠在單個 GPU 上實現(xiàn) 17 FPS 的幀率，并且延遲低于 1 秒，具備出色的實時性能。
• Self Forcing 支持生成多長時間的視頻？ 借助滾動 KV 緩存機制，Self Forcing 支持理論上無限長的視頻生成。
• Self Forcing 的應(yīng)用前景是什么？ Self Forcing 在直播、游戲、虛擬現(xiàn)實、增強現(xiàn)實、內(nèi)容創(chuàng)作等領(lǐng)域具有廣泛的應(yīng)用前景，將為這些領(lǐng)域帶來性的變革。