TransPixar

TransPixar – 港中文聯(lián)合 Adobe 等機構(gòu)開源的生成透明背景視頻技術(shù)

TransPixar是什么

TransPixar是一種由香港中文大學(xué)、Adobe研究院、香港科技大學(xué)和智能摩爾共同開源的尖端文本到視頻生成技術(shù)。該方法擴展了預(yù)訓(xùn)練的RGB視頻模型，使其能夠生成包含透明度信息的RGBA視頻。TransPixar基于擴散變換器（DiT）架構(gòu)，采用了引入alpha特定token和基于LoRA的微調(diào)技術(shù)，實現(xiàn)了RGB和alpha通道的聯(lián)動生成，從而保持了高度一致性。此外，TransPixar還優(yōu)化了注意力機制，保留了原RGB模型的優(yōu)點，使其在有限的訓(xùn)練數(shù)據(jù)下能夠生成多樣化且高對齊度的RGBA視頻。TransPixar能夠創(chuàng)建包含煙霧、反射等透明元素的視頻，呈現(xiàn)出極為真實的視覺效果，具有廣泛的應(yīng)用前景，尤其在娛樂、廣告和教育等領(lǐng)域，為視覺效果（VFX）和互動內(nèi)容創(chuàng)作帶來了全新的可能性。

TransPixar

TransPixar的主要功能

RGBA視頻生成：能夠從文本描述生成具備RGB顏色通道和alpha透明度通道的多媒體視頻，實現(xiàn)復(fù)雜視覺效果的展現(xiàn)。
透明效果處理：支持生成具有透明特性的元素，如煙霧和反射等，能夠與背景場景無縫結(jié)合，適合視覺效果（VFX）等應(yīng)用。
高質(zhì)量視頻生成：在生成RGBA視頻的同時，保留了原RGB視頻生成模型的高質(zhì)量特性，確保視頻的清晰度和細節(jié)表現(xiàn)。
多場景適應(yīng)性：適用于多種場景和對象類型的視頻生成，包括人物動作、自然風(fēng)光及動態(tài)效果，具備良好的泛化能力。
文本驅(qū)動內(nèi)容創(chuàng)作：根據(jù)輸入的文本描述自動生成相應(yīng)的視頻內(nèi)容，提高內(nèi)容創(chuàng)作的效率與創(chuàng)意。

TransPixar的技術(shù)原理

擴散變換器（DiT）架構(gòu)：基于DiT模型，通過自注意力機制捕捉視頻幀之間的長程依賴，進行視頻內(nèi)容的精細建模與生成。
alpha通道生成：在DiT模型中引入alpha特定token，與RGB token聯(lián)合生成，實現(xiàn)alpha通道的生成，從而輸出RGBA視頻。
LoRA微調(diào)：采用LoRA（Low-rank Adaptation）微調(diào)技術(shù)，優(yōu)化alpha token的投影，同時保持RGB生成質(zhì)量，提升alpha通道的生成效果。
注意力機制優(yōu)化：通過系統(tǒng)分析與優(yōu)化RGBA生成過程中的注意力機制，包括文本與RGB、RGB與alpha之間的相互關(guān)注，確保RGB和alpha通道之間的強對齊與高質(zhì)量生成。
數(shù)據(jù)集擴展與訓(xùn)練策略：在有限的RGBA視頻數(shù)據(jù)集上進行訓(xùn)練，通過合理的數(shù)據(jù)預(yù)處理和訓(xùn)練策略，增強模型對多樣化場景和對象類型的適應(yīng)性，提升生成內(nèi)容的多樣性與一致性。

TransPixar的項目地址

項目官網(wǎng)：https://wileewang.github.io/TransPixar/
GitHub倉庫：https://github.com/wileewang/TransPixar
arXiv技術(shù)論文：https://arxiv.org/pdf/2501.03006
在線體驗Demo：https://huggingface.co/spaces/wileewang/TransPixar

TransPixar的應(yīng)用場景

娛樂領(lǐng)域：快速生成如星球等特效片段，為科幻電影的后期制作提供支持。
廣告領(lǐng)域：制作新款電動車外觀及行駛動態(tài)的廣告視頻，吸引消費者的目光。
教育領(lǐng)域：生成物體受力的視頻，以輔助講解物理定律，提升學(xué)生的理解能力。
增強現(xiàn)實（AR）：生成逼真的巴黎全景視頻，為虛擬旅游應(yīng)用提供沉浸式體驗。
創(chuàng)意產(chǎn)業(yè)：創(chuàng)作奇幻世界的視頻，拓寬數(shù)字藝術(shù)的表現(xiàn)形式與創(chuàng)意空間。