無需訓練、即插即用，新算法大幅增強視頻生成質量｜NUS＆上海AI Lab&UT Austin

還兼容多個主流視頻生成模型

原標題：無需訓練、即插即用，新算法大幅增強視頻生成質量｜NUS＆上海AI Lab&UT Austin
文章來源：量子位
內容字數：4925字

Enhance-A-Video：無需訓練，即插即用地提升AI視頻生成質量

近日，新加坡國立大學、上海AI實驗室和德克薩斯大學奧斯汀分校的研究團隊發布了一種全新的視頻生成增強算法——Enhance-A-Video。該算法無需額外模型訓練，即可顯著提升現有視頻生成模型的質量，在細節表現、時序連貫性等方面取得了顯著進展。其核心在于通過調整時間注意力層的關鍵參數，在幾乎不增加推理負擔的情況下，大幅提升視頻生成效果。

1. 背景：AI視頻生成技術的挑戰

隨著Diffusion Transformer (DiT) 等技術的快速發展，AI 視頻生成能力日益增強。然而，現有方法仍存在一些問題，例如：時序不連貫、細節模糊、畫面抖動等，這些都嚴重影響了生成視頻的質量和觀感。Enhance-A-Video 正是為了解決這些問題而誕生的。

2. Enhance-A-Video的核心原理

Enhance-A-Video 的核心思想在于優化時間注意力機制。研究人員發現，在 DiT 模型中，時間注意力的分布存在差異，部分層的跨幀注意力強度低于單幀自注意力，導致幀間信息傳遞不足。因此，他們提出通過調整一個關鍵參數——增強溫度參數——來優化時間注意力的分布，從而提升視頻質量。

該方法類似于大語言模型中溫度系數的調節機制，通過調整參數來平衡一致性和多樣性。在 Enhance-A-Video 中，調整增強溫度參數可以控制幀間相關性強度，從而提高視頻的連貫性和細節表現。

3. 方法概述：高效、無需訓練的動態增強方案

Enhance-A-Video 的實現過程包括以下步驟：

1. 在時間注意力層添加一個并行分支，計算時間注意力分布圖。
2. 從時間注意力分布圖中提取跨幀強度 (CFI)。
3. 引入增強溫度參數，將其與 CFI 的乘積作為增強模塊的輸出系數，動態調整時間注意力層輸出的特征增強強度。

整個過程無需對原始模型進行重新訓練，實現了高效、即插即用的增強效果。

4. 實驗結果與應用

實驗結果表明，Enhance-A-Video 在多個主流視頻生成模型（如 CogVideoX-2B、OpenSora-V1.2 和 HunyuanVideo）上都取得了顯著的性能提升，尤其在對比度、清晰度和細節真實性方面表現突出。該算法已被集成到多個推理框架中，如 ComfyUI-Hunyuan 和 ComfyUI-LTX，并得到了社區的廣泛認可。

5. 未來研究方向

研究團隊計劃進一步改進 Enhance-A-Video，包括：

1. 研究自動調節增強溫度參數的機制。
2. 擴展算法的適用性，使其能夠適配更大規模的模型和多模態場景。
3. 構建更完善的視頻生成質量評價體系。

總而言之，Enhance-A-Video 為 AI 視頻生成技術的質量提升提供了新的思路和方法，其高效、通用、無需訓練的特點使其具有廣泛的應用前景。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破