「花果山名場面」有了高清畫質版，NTU提出視頻超分框架Upscale-A-Video

AIGC動態(tài)歡迎閱讀

原標題：「花果山名場面」有了高清畫質版，NTU提出視頻超分框架Upscale-A-Video
關鍵字：時間,視頻,模型,紋理,卷積
文章來源：機器之心
內容字數(shù)：3519字

內容摘要：

機器之心報道
機器之心編輯部擴散模型在圖像生成方面取得了顯著的成功，但由于對輸出保真度和時間一致性的高要求，將這些模型應用于視頻超分辨率仍然具有挑戰(zhàn)性，特別是其固有的隨機性使這變得復雜。
來自南洋理工大學 S-Lab 的研究團隊提出了一種用于視頻超分的文本指導（text-guided）潛在擴散框架 ——Upscale-A-Video。該框架通過兩個關鍵機制確保時間一致性：在局部，它將時間層集成到 U-Net 和 VAE-Decoder 中，保持短序列的一致性；在全局范圍內，無需訓練，就引入了流指導（flow-guided）循環(huán)潛在傳播模塊，通過在整個序列中傳播和融合潛在來增強整體視頻的穩(wěn)定性。論文地址：https://arxiv.org/abs/2312.06640
得益于擴散范式，Upscale-A-Video 還提供了很大的靈活性，允許文本 prompt 指導紋理創(chuàng)建，并且可調節(jié)噪聲水平以平衡恢復（restoration）和生成，從而實現(xiàn)保真度和質量之間的權衡。
實驗結果表明，Upscale-A-Video 在合成和現(xiàn)實世界基準上都超越了現(xiàn)有方法，展示了令人印象深刻的視覺真實感和時

原文鏈接：「花果山名場面」有了高清畫質版，NTU提出視頻超分框架Upscale-A-Video

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產業(yè)服務平臺