LCVD – 川大推出的可調(diào)節(jié)光照效果的肖像動畫生成框架

LCVD是什么

LCVD（Lighting Controllable Video Diffusion Model）是由四川大學(xué)開發(fā)的一種高保真、可控光照的肖像動畫生成框架。該模型通過將肖像的內(nèi)在特征（如身份和外觀）與外在特征（如姿態(tài)和光照）進行分離，利用參考適配器和陰影適配器將這些特征映射到不同的子空間。在生成動畫的過程中，LCVD利用特征子空間，并結(jié)合多條件分類器引導(dǎo)機制，精細(xì)調(diào)節(jié)光照效果，同時保留肖像的身份和外觀特征。基于穩(wěn)定的視頻擴散模型（SVD），LCVD能夠生成與驅(qū)動視頻姿態(tài)一致且符合目標(biāo)光照條件的高質(zhì)量肖像動畫。它在光照真實感、圖像質(zhì)量和視頻一致性方面顯著超過現(xiàn)有技術(shù)，為虛擬現(xiàn)實、視頻會議和影視制作等領(lǐng)域提供了強大的技術(shù)支持。

LCVD的主要功能

• 肖像動畫化：將靜態(tài)肖像轉(zhuǎn)換為動態(tài)視頻，精確匹配驅(qū)動視頻中的頭部動作和面部表情。
• 光照控制：在動畫生成過程中，根據(jù)用戶指定或參考圖像的光照條件重新調(diào)整肖像的光照效果。
• 身份與外觀保留：在動畫化和重光照過程中，確保肖像的身份和外觀特征不被丟失。
• 高質(zhì)量視頻生成：生成的視頻在光照真實感、圖像質(zhì)量和視頻一致性方面表現(xiàn)卓越，適用于虛擬現(xiàn)實、視頻會議和影視制作等多種場景。

LCVD的技術(shù)原理

• 特征分離：參考適配器將參考肖像的內(nèi)在特征（身份和外觀）映射至特征空間，而陰影適配器則將外在特征（光照和姿態(tài)）映射至特征空間。通過分離內(nèi)在和外在特征，模型能夠在動畫化過程中控制光照和姿態(tài)。
• 光照可控的擴散模型：基于穩(wěn)定視頻擴散模型，利用多條件分類器引導(dǎo)機制調(diào)整光照效果，通過修改引導(dǎo)強度（如權(quán)重 ω）來增強或減弱光照提示的影響，實現(xiàn)更加精細(xì)的光照控制。
• 對齊與長視頻生成：通過對齊模塊，確保生成的肖像與驅(qū)動視頻的姿態(tài)保持一致。采用擴散模型采樣方法，可以生成任意長度的視頻，并通過重疊策略確保視頻片段之間的平滑過渡。
• 訓(xùn)練與優(yōu)化：在訓(xùn)練階段，通過自監(jiān)督學(xué)習(xí)優(yōu)化適配器和擴散模型，確保生成視頻在光照、姿態(tài)和身份上的一致性。使用損失函數(shù)（如LPIPS、FID等）來評估和提升生成視頻的質(zhì)量。

LCVD的項目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.19894

LCVD的應(yīng)用場景

• 虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）：創(chuàng)建生動的虛擬角色，使其與虛擬或現(xiàn)實場景無縫結(jié)合。
• 視頻會議：實時生成高質(zhì)量的肖像動畫，降低帶寬需求，提升用戶體驗。
• 影視制作：快速生成符合多種光照條件的肖像動畫，用于特效和虛擬場景的創(chuàng)建。
• 游戲開發(fā)：生成逼真的虛擬角色動畫，增強游戲的真實感和沉浸體驗。
• 社交媒體和內(nèi)容創(chuàng)作：支持用戶生成個性化的動態(tài)頭像或短視頻，豐富內(nèi)容創(chuàng)作的形式。

常見問題

• LCVD能否用于實時應(yīng)用？ 是的，LCVD具備實時生成肖像動畫的能力，適用于視頻會議等場景。
• 如何調(diào)整光照效果？ 用戶可以通過指定光照條件或參考圖像來調(diào)節(jié)生成肖像的光照效果。
• LCVD支持多長的視頻生成？ LCVD可以生成任意長度的視頻，并確保視頻片段之間的平滑過渡。
• 是否會影響肖像的身份特征？ LCVD在動畫化過程中確保肖像的身份和外觀特征得以保留。