DreamVideo-2

DreamVideo-2是一款突破性的零樣本視頻定制框架，由復(fù)旦大學(xué)與阿里巴巴集團(tuán)等機(jī)構(gòu)聯(lián)合開發(fā)。該框架能夠根據(jù)單一圖像和一系列界定框，生成帶有特定主題和精準(zhǔn)軌跡的視頻，且在測試過程中無需進(jìn)行微調(diào)。DreamVideo-2采用參考注意力機(jī)制學(xué)習(xí)主題的外觀，并通過從界定框?qū)С龅亩笛诖a來控制軌跡，實(shí)現(xiàn)高精度的管理。

DreamVideo-2是什么

DreamVideo-2是一種創(chuàng)新的零樣本視頻定制框架，由復(fù)旦大學(xué)與阿里巴巴集團(tuán)等機(jī)構(gòu)共同推出。它能夠根據(jù)用戶提供的單一圖像和界定框序列生成特定主題和軌跡的視頻，無需在測試時(shí)進(jìn)行任何微調(diào)。該框架利用參考注意力機(jī)制來學(xué)習(xí)主題的外觀，并基于從界定框生成的二值掩碼來控制軌跡，從而實(shí)現(xiàn)精準(zhǔn)的管理。DreamVideo-2引入混合掩碼參考注意力和重加權(quán)擴(kuò)散損失，這增強(qiáng)了主題表征，并平衡了主題學(xué)習(xí)與控制之間的關(guān)系。研究團(tuán)隊(duì)利用WebVid-10M數(shù)據(jù)集和內(nèi)部數(shù)據(jù)來支持零樣本視頻定制任務(wù)，結(jié)果顯示DreamVideo-2在主題定制和控制方面超越了現(xiàn)有的先進(jìn)方法，展現(xiàn)了其在視頻定制領(lǐng)域的巨大潛力和實(shí)用性。

DreamVideo-2的主要功能

• 零樣本定制：無需在測試時(shí)進(jìn)行微調(diào)，能夠直接根據(jù)用戶提供的單一圖像和界定框序列生成具有特定主題和精確軌跡的視頻。
• 主題學(xué)習(xí)：基于參考注意力機(jī)制，利用模型的固有能力學(xué)習(xí)和生成特定主題的外觀。
• 精確控制：通過從界定框?qū)С龅亩笛诖a控制視頻中主題的軌跡，實(shí)現(xiàn)精確的控制。
• 混合掩碼參考注意力：基于混合潛在掩碼建模方案，增強(qiáng)目標(biāo)位置的主題表征，從而提升主題的準(zhǔn)確性。
• 重加權(quán)擴(kuò)散損失：通過區(qū)分界定框內(nèi)外區(qū)域的貢獻(xiàn)，確保主題學(xué)習(xí)和控制之間的平衡。

DreamVideo-2的技術(shù)原理

• 參考注意力機(jī)制：
  • 基于視頻擴(kuò)散模型的多尺度特征提取能力，將用戶提供的單一主題圖像作為單幀視頻輸入模型，獲取主題注意力特征。
  • 通過殘差交叉注意力將主題特征融入視頻特征中，從而增強(qiáng)模型對特定主題的學(xué)習(xí)能力。
• 掩碼引導(dǎo)的模塊：
  • 將用戶定義的界定框序列轉(zhuǎn)換為二值掩碼序列，以指示視頻中主題的軌跡。
  • 設(shè)計(jì)包含時(shí)空編碼器和空間ControlNet的掩碼引導(dǎo)模塊，從掩碼序列中提取信息，實(shí)現(xiàn)精確控制。
• 混合掩碼參考注意力：在參考注意力中引入混合潛在掩碼建模，通過調(diào)整掩碼中背景的權(quán)重，增強(qiáng)目標(biāo)位置的主題表征。
• 重加權(quán)擴(kuò)散損失：設(shè)計(jì)新的損失函數(shù)，通過調(diào)整界定框內(nèi)外區(qū)域的損失貢獻(xiàn)權(quán)重，確保主題學(xué)習(xí)與控制之間的平衡。
• 訓(xùn)練與推理：
  • 在訓(xùn)練階段，凍結(jié)原始3D UNet參數(shù)，聯(lián)合訓(xùn)練新添加的組件，如混合掩碼參考注意力和掩碼引導(dǎo)的模塊。
  • 在推理階段，用戶提供主題圖像和界定框序列，能夠生成定制視頻，無需額外的微調(diào)或注意力圖修改。
• 數(shù)據(jù)集構(gòu)建：構(gòu)建新的單主題視頻數(shù)據(jù)集，包含視頻掩碼和邊界框，通過Grounding DINO、SAM和DEVA模型生成注釋，支持零樣本視頻定制任務(wù)。

DreamVideo-2的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：dreamvideo2.github.io
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.13830

DreamVideo-2的應(yīng)用場景

• 娛樂與社交媒體：用戶可以根據(jù)個(gè)人喜好，快速生成包含特定人物或物體的視頻內(nèi)容，適用于社交媒體分享或個(gè)人娛樂。
• 電影與視頻制作：電影制作人可以利用DreamVideo-2預(yù)覽特效或場景，或生成特定的動(dòng)作序列，從而降低實(shí)際拍攝的成本和時(shí)間。
• 廣告與營銷：企業(yè)可以基于定制的視頻內(nèi)容，創(chuàng)建更具吸引力的廣告，以特定產(chǎn)品或品牌為主題，提高廣告的個(gè)性化和互動(dòng)性。
• 教育與培訓(xùn)：教育機(jī)構(gòu)可以使用DreamVideo-2生成教學(xué)視頻，模擬特定實(shí)驗(yàn)過程或歷史，增強(qiáng)學(xué)習(xí)體驗(yàn)。
• 新聞與報(bào)道：新聞機(jī)構(gòu)能夠快速生成新聞故事的視覺內(nèi)容，尤其適合于那些難以現(xiàn)場拍攝的。