LatentSync – 字節(jié)聯(lián)合北交大開源的端到端唇形同步框架

LatentSync是由字節(jié)跳動和北京交通大學(xué)共同開發(fā)的前沿唇形同步框架，基于音頻條件的潛在擴(kuò)散模型，旨在無需依賴任何中間的3D表示或2D特征點(diǎn)的情況下，直接生成與音頻完美同步的動態(tài)說話視頻。該技術(shù)利用Stable Diffusion的強(qiáng)大生成能力，能夠捕捉復(fù)雜的視聽關(guān)系，實(shí)時(shí)生成高質(zhì)量的唇部。

LatentSync是什么

LatentSync是一個(gè)先進(jìn)的端到端唇形同步框架，由字節(jié)跳動與北京交通大合推出。該框架基于音頻條件的潛在擴(kuò)散模型，能夠直接生成與輸入音頻相匹配的唇部，避免了傳統(tǒng)方法中需要的3D表示或2D關(guān)鍵點(diǎn)。憑借Stable Diffusion的強(qiáng)大能力，LatentSync可以有效捕捉復(fù)雜的視聽關(guān)聯(lián)，生成栩栩如生的說話視頻。此外，為了解決擴(kuò)散模型在不同幀間擴(kuò)散過程不一致的問題，LatentSync引入了Temporal REPresentation Alignment (TREPA)方法，利用大規(guī)模自監(jiān)督視頻模型提取時(shí)間表示，增強(qiáng)生成視頻的時(shí)間一致性，并確保唇部同步的準(zhǔn)確性。

LatentSync的主要功能

• 唇形同步生成：根據(jù)輸入音頻生成與之匹配的唇部，適用于配音、虛擬角色等多種場景。
• 高分辨率視頻生成：克服傳統(tǒng)擴(kuò)散模型在像素空間進(jìn)行擴(kuò)散時(shí)對硬件要求高的限制，生成高質(zhì)量視頻。
• 動態(tài)逼真效果：生成的視頻能夠展現(xiàn)細(xì)膩的情感變化，使得人物說話更加自然生動。
• 時(shí)間一致性增強(qiáng)：通過Temporal REPresentation Alignment (TREPA)方法，提升生成視頻的時(shí)間一致性，減少閃爍現(xiàn)象，確保視頻播放流暢。

LatentSync的技術(shù)原理

• 音頻條件潛在擴(kuò)散模型：利用音頻輸入，在潛在空間中直接建模，避免傳統(tǒng)的像素空間擴(kuò)散，能夠更好地捕捉音頻與視覺之間的復(fù)雜關(guān)系，生成高質(zhì)量的唇同步視頻。
• 端到端框架：將音頻特征提取、潛在表示生成和唇同步生成等過程整合為一個(gè)統(tǒng)一的模型，提高了生成效率與準(zhǔn)確性。
• Temporal REPresentation Alignment (TREPA)：利用大規(guī)模自監(jiān)督視頻模型VideoMAE-v2提取時(shí)間表示，計(jì)算生成幀與真實(shí)幀的時(shí)間表示之間的距離，作為額外損失，增強(qiáng)時(shí)間一致性。
• SyncNet監(jiān)督：在訓(xùn)練過程中，使用預(yù)訓(xùn)練的SyncNet對生成視頻進(jìn)行監(jiān)督，確保唇同步效果良好，并在像素空間中添加SyncNet損失，以更好地學(xué)習(xí)音頻與唇部的對應(yīng)關(guān)系。

LatentSync的項(xiàng)目地址

• GitHub倉庫：https://github.com/bytedance/LatentSync
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.09262

LatentSync的應(yīng)用場景

• 影視后期制作：在電影配音時(shí)，自動生成與配音音頻相匹配的唇部動畫，提升制作效率，并保持角色形象的一致性。
• 教育領(lǐng)域：在線英語課程中，將教師的語音轉(zhuǎn)換為唇同步視頻，幫助學(xué)生更準(zhǔn)確地學(xué)習(xí)發(fā)音技巧。
• 廣告視頻制作：在汽車廣告中為虛擬代言人生成唇同步視頻，使廣告詞表達(dá)更自然，增強(qiáng)廣告的吸引力。
• 遠(yuǎn)程會議：在跨國會議中，實(shí)時(shí)生成唇同步視頻，解決因網(wǎng)絡(luò)延遲導(dǎo)致的音畫不同步問題，提升溝通效果。
• 游戲開發(fā)：在角色扮演游戲中，讓NPC的唇部動作與語音同步，增強(qiáng)玩家的沉浸感和互動體驗(yàn)。

常見問題

• LatentSync是否支持多種語言？ 是的，LatentSync可以處理多種語言的音頻輸入，實(shí)現(xiàn)相應(yīng)的唇形同步。
• 生成的視頻質(zhì)量如何？ LatentSync能夠生成高分辨率的視頻，確保視覺效果的清晰和真實(shí)。
• 使用LatentSync需要什么樣的硬件？ 雖然LatentSync優(yōu)化了硬件需求，但高性能的GPU仍然能夠提升生成速度和效果。
• 如何獲取LatentSync的更新？ 您可以通過訪問其GitHub頁面，獲取最新版本和更新信息。