VideoReward

VideoReward – 港中文、清華、快手等聯(lián)合推出的視頻生成偏好數(shù)據(jù)集及獎勵模型

VideoReward 是由香港中文大學、清華大學及快手科技等機構聯(lián)合開發(fā)的一套視頻生成偏好數(shù)據(jù)集和獎勵模型。該系統(tǒng)包含了182,000條標注數(shù)據(jù)，重點關注視覺質量、質量和文本對齊三個重要維度，旨在提升視頻生成模型的性能。通過基于人類反饋的獎勵模型，以及先進的多維度對齊算法（如Flow-DPO和Flow-RWR）和推理技術（如Flow-NRG），VideoReward 能夠顯著增強視頻生成的連貫性和文本一致性，且支持用戶個性化需求。

VideoReward是什么

VideoReward 是一個由香港中文大學、清華大學與快手科技共同創(chuàng)建的視頻生成偏好數(shù)據(jù)集及其獎勵模型。該數(shù)據(jù)集包含182,000條標注數(shù)據(jù)，涵蓋了視覺質量（VQ）、質量（MQ）和文本對齊（TA）三個關鍵方面，用于捕捉用戶對生成視頻的偏好。其獎勵模型基于人類反饋，通過多維度對齊算法（如Flow-DPO、Flow-RWR）及推理技術（如Flow-NRG），顯著提升了視頻生成的連貫性和文本對齊效果。Flow-NRG還允許用戶在推理時自定義權重，以滿足個性化需求。

VideoReward

VideoReward的主要功能

構建大規(guī)模偏好數(shù)據(jù)集：VideoReward 提供182,000條標注數(shù)據(jù)，涵蓋視覺質量、質量和文本對齊三個維度，旨在全面捕捉用戶對生成視頻的偏好。
多維度獎勵模型：該系統(tǒng)基于強化學習，引入了包括Flow-DPO和Flow-RWR在內的三種對齊算法，以及推理時的Flow-NRG技術，以優(yōu)化視頻生成過程。
個性化需求支持：Flow-NRG技術允許用戶在推理階段為多個目標設置自定義權重，以滿足個性化的視頻質量需求。
提升視頻生成質量：通過整合人類反饋，VideoReward 能顯著提高視頻生成的連貫性及與提示文本的對齊效果，超越現(xiàn)有獎勵模型的表現(xiàn)。

VideoReward的技術原理

對齊算法：VideoReward 采用三種專為流模型設計的對齊算法，旨在優(yōu)化視頻生成質量：
- Flow-DPO（直接偏好優(yōu)化）：在訓練過程中，直接優(yōu)化模型以更好地匹配人類的偏好視頻對。
- Flow-RWR（獎勵加權回歸）：通過獎勵加權來優(yōu)化模型，更加符合用戶反饋。
- Flow-NRG（噪聲視頻獎勵引導）：在推理階段，將獎勵直接應用于噪聲視頻，支持用戶自定義權重以滿足多樣化需求。
人類反饋優(yōu)化：依靠人類反饋，VideoReward 能有效提升視頻生成的連貫性及與提示文本的對齊效果，實驗表明其性能優(yōu)于現(xiàn)有獎勵模型，F(xiàn)low-DPO在效果上優(yōu)于Flow-RWR和標準監(jiān)督微調方法。

VideoReward的項目地址

項目官網：https://gongyeliu.github.io/videoalign/
arXiv技術論文：https://arxiv.org/pdf/2501.13918

VideoReward的應用場景

視頻生成質量優(yōu)化：利用大規(guī)模的人類偏好數(shù)據(jù)集和多維度獎勵模型，VideoReward顯著提高了視頻生成的質量，尤其在視覺、連貫性及文本對齊方面表現(xiàn)突出。
個性化視頻生成：通過Flow-NRG技術，VideoReward允許用戶在生成過程中為各項目標設置自定義權重，以滿足其獨特的視頻質量需求。
視頻生成模型的訓練與微調：提供的多維度獎勵模型和對齊算法（如Flow-DPO和Flow-RWR）可以用于訓練和微調視頻生成模型。
用戶偏好分析與研究：該數(shù)據(jù)集涵蓋多個維度，適用于對用戶偏好的深入分析與研究。
視頻內容創(chuàng)作與編輯：在視頻創(chuàng)作與編輯領域，VideoReward能夠生成更高質量的視頻素材，從而提升創(chuàng)作效率。

常見問題

VideoReward如何提升視頻生成質量？通過多維度的獎勵模型與人類反饋，VideoReward能夠有效優(yōu)化視頻生成的連貫性和文本對齊效果。
用戶如何自定義生成視頻的質量？用戶可以通過Flow-NRG技術，在推理時為多個目標設置自定義權重，滿足個性化需求。
VideoReward適合哪些應用場景？它適用于視頻生成質量的優(yōu)化、個性化視頻生成、模型訓練與微調，以及視頻內容創(chuàng)作與編輯等多個領域。

閱讀原文