ExVideo是一項由阿里巴巴與華東師范大學的研究團隊共同開發(fā)的視頻合成模型后調(diào)優(yōu)技術(shù)，旨在擴展現(xiàn)有模型的時間維度，從而生成更長和幀數(shù)更多的視頻。基于Stable Video Diffusion模型，ExVideo能夠生成高達128幀的連貫視頻，同時有效保留原始模型的生成能力。這一技術(shù)特別適合計算資源有限的環(huán)境，因為它通過優(yōu)化3D卷積、時間注意力機制和位置嵌入等技術(shù)模塊，顯著提高了視頻幀數(shù)并降低了訓練成本。

ExVideo是什么

ExVideo是由阿里巴巴與華東師范大學的研究者共同開發(fā)的一種先進的視頻合成模型后調(diào)優(yōu)技術(shù)。它能夠在現(xiàn)有視頻合成模型的基礎(chǔ)上，擴展時間尺度，生成更加豐富的長視頻。該團隊在Stable Video Diffusion模型的基礎(chǔ)上，訓練出了一個能夠生成多達128幀的擴展模型，同時保持了原始生成能力。ExVideo的設(shè)計通過優(yōu)化各種時間模塊，使得模型能夠處理更長時間跨度的內(nèi)容，適合資源有限的情況。

主要功能

• 時間尺度擴展：ExVideo的主要功能是擴展視頻合成模型的時間尺度，使其能夠處理和生成比原始模型更長的視頻序列，從而講述更復雜的故事或展示更長時間的動態(tài)場景。
• 后調(diào)優(yōu)策略：ExVideo的后調(diào)優(yōu)策略是其核心，通過對Stable Video Diffusion等模型的特定部分進行再訓練，ExVideo能夠生成128幀或更多的視頻，并保持對多種輸入的泛化能力，提升視頻的多樣性和適應(yīng)性。
• 高效參數(shù)使用：與傳統(tǒng)訓練方法相比，ExVideo采用后調(diào)優(yōu)策略，無需重新訓練整個模型，從而顯著減少參數(shù)數(shù)量和計算資源，提高了模型的擴展效率。
• 生成質(zhì)量保持：ExVideo在延長視頻長度的同時，確保生成視頻的質(zhì)量，所生成的視頻在視覺連貫性、清晰度和整體質(zhì)量上均達到較高標準。
• 兼容性與通用性：ExVideo的設(shè)計考慮到與多種視頻合成模型的兼容性，能夠廣泛應(yīng)用于不同的視頻生成任務(wù)，提供相應(yīng)的擴展策略以適應(yīng)不同的模型架構(gòu)。

產(chǎn)品官網(wǎng)

• 官方項目主頁：https://ecnu-cilab.github.io/ExVideoProjectPage/
• GitHub代碼庫：https://github.com/modelscope/DiffSynth-Studio
• Hugging Face模型下載：https://huggingface.co/ECNU-CILab/ExVideo-SVD-128f-v1
• ModelScope模型下載：https://www.modelscope.cn/models/ECNU-CILab/ExVideo-SVD-128f-v1/summary
• arXiv技術(shù)論文：https://arxiv.org/abs/2406.14130

應(yīng)用場景

ExVideo適用于多種視頻生成任務(wù)，包括但不限于短視頻創(chuàng)作、動畫制作、廣告視頻生成等。它的高效性和生成能力使其成為內(nèi)容創(chuàng)作者、廣告行業(yè)和教育領(lǐng)域等多個行業(yè)的理想選擇，幫助用戶生成更具吸引力和連貫性的視頻內(nèi)容。

常見問題

• ExVideo的訓練成本高嗎？
  ExVideo采用后調(diào)優(yōu)策略，相比從頭訓練模型，顯著降低了訓練成本，特別適合計算資源有限的環(huán)境。
• 生成的視頻質(zhì)量如何？
  ExVideo確保在擴展視頻長度的同時，保持高質(zhì)量的生成，視頻在視覺連貫性和清晰度上都達到較高標準。
• 我可以在什么地方獲取ExVideo的模型？
  ExVideo的模型可以通過Hugging Face和ModelScope等平臺進行下載，具體鏈接可以在產(chǎn)品官網(wǎng)上找到。
• ExVideo支持哪些視頻合成模型？
  ExVideo設(shè)計時考慮到與多種視頻合成模型的兼容性，能夠廣泛應(yīng)用于不同的模型架構(gòu)。