RelightVid – 上海 AI Lab聯合復旦等高校推出的視頻重照明模型

RelightVid是什么

RelightVid是由上海AI實驗室、復旦大學、上海交通大學、浙江大學、斯坦福大學和香港中文大合開發的一款視頻重照明工具。它采用時序一致性擴散模型，能夠依據文本提示、背景視頻或HDR環境貼圖對視頻進行細致且一致的場景編輯。此技術支持全場景重照明以及前景保留重照明，旨在為視頻編輯和創作帶來新的可能性。

RelightVid的主要功能

• 文本驅動重照明：根據用戶提供的文本描述，調整視頻中的光照效果，例如“陽光透過樹葉，形成斑駁光影”或“柔和的晨光，金色時刻”。
• 背景視頻驅動重照明：利用背景視頻作為光源條件，動態調整前景對象的光照，使其與背景光照保持一致。
• HDR環境貼圖驅動重照明：通過HDR環境貼圖精確控制光照，實現高質量的重照明效果。
• 全場景重照明：對整個場景中的前景和背景進行重照明，使其與設定的光照條件相匹配。
• 前景保留重照明：在重照明前景的同時，保持背景不變，適用于需要突出前景對象的場合。

RelightVid的技術原理

• 擴散模型擴展：RelightVid以預訓練的圖像重照明擴散模型（如IC-Light）為基礎，擴展其架構以支持視頻輸入，并引入時序層以捕捉幀間的時間依賴性，從而確保重照明的時序一致性。
• 多模態條件聯合訓練：該模型能夠同時使用背景視頻、文本提示和HDR環境貼圖作為輸入條件，通過編碼器將這些條件嵌入模型中，并利用交叉注意力機制實現協同編輯。
• 光照不變集成（Illumination-Invariant Ensemble，IIE）：通過亮度增強輸入視頻并平均預測噪聲，提升模型在不同光照條件下的魯棒性，避免反照率的變化影響效果。
• 數據增強管道（LightAtlas）：結合真實視頻和3D渲染數據生成高質量的重照明數據對，為模型提供豐富的光照先驗知識，增強其對復雜光照場景的適應能力。

RelightVid的項目地址

• 項目官網：https://aleafy.github.io/relightvid/
• GitHub倉庫：https://github.com/Aleafy/RelightVid
• arXiv技術論文：https://arxiv.org/pdf/2501.16330
• 在線體驗Demo：https://huggingface.co/spaces/aleafy/RelightVid

RelightVid的應用場景

• 影視制作：在電影或電視劇制作中，調整場景的光照效果，滿足不同劇情需求或導演的藝術構想，避免重新拍攝。
• 游戲開發：在游戲中動態調整場景光照，增強玩家的沉浸感和視覺效果，以適應不同的時間和天氣條件。
• 增強現實（AR）：在AR應用中實時調整虛擬元素的光照，使其與現實環境的光照相一致，提升用戶體驗。
• 視頻廣告與營銷：為廣告視頻快速生成多種光照風格，以滿足不同品牌或活動的宣傳需求，提高視覺吸引力。
• 視頻內容創作：幫助視頻博主或內容創作者輕松改變視頻的光照氛圍，如模擬不同天氣或時間的場景，豐富創作內容。

常見問題

• RelightVid支持哪些視頻格式？：RelightVid支持多種常見的視頻格式，包括MP4、AVI等。
• 如何使用RelightVid進行視頻重照明？：用戶可以通過上傳視頻、輸入文本提示或選擇背景視頻/HDR環境貼圖來實現重照明效果。
• 是否需要專業技能才能使用RelightVid？：RelightVid設計為用戶友好，即使是非專業用戶也能輕松上手。
• 重照明效果可以實時預覽嗎？：是的，用戶可以在調整設置時實時預覽重照明效果。