X-Dancer

X-Dancer – 字節(jié)等機(jī)構(gòu)推出音樂(lè)驅(qū)動(dòng)的人像舞蹈視頻生成框架

X-Dancer是一款由字節(jié)跳動(dòng)與加州大學(xué)圣地亞哥分校和南加州大學(xué)的研究團(tuán)隊(duì)共同開(kāi)發(fā)的創(chuàng)新性音樂(lè)驅(qū)動(dòng)人像舞蹈視頻生成框架。它能夠通過(guò)一張靜態(tài)圖像生成多樣化且逼真的全身舞蹈視頻，巧妙結(jié)合了自回歸變換器（Transformer）和擴(kuò)散模型，以2D人體姿態(tài)建模為基礎(chǔ)，捕捉舞蹈動(dòng)作與音樂(lè)節(jié)奏之間復(fù)雜的對(duì)齊關(guān)系。

X-Dancer是什么

X-Dancer是一種先進(jìn)的舞蹈視頻生成框架，能夠從單張靜態(tài)人物圖像和一段音樂(lè)中生成與音樂(lè)節(jié)奏同步的全身舞蹈視頻。該框架利用自回歸變換器和擴(kuò)散模型，基于2D人體姿態(tài)估計(jì)，能夠有效地從廣泛可用的單目視頻中提取舞蹈動(dòng)作，進(jìn)而實(shí)現(xiàn)舞蹈動(dòng)作與音樂(lè)節(jié)奏的精準(zhǔn)對(duì)齊。X-Dancer通過(guò)多部分的2D姿態(tài)表示與信心感知的量化方法，生成與音樂(lè)相輔相成的舞蹈姿態(tài)序列，并利用擴(kuò)散模型將這些姿態(tài)序列轉(zhuǎn)化為流暢的視頻幀。相比現(xiàn)有技術(shù)，X-Dancer在多樣性、音樂(lè)對(duì)齊和視頻質(zhì)量等方面表現(xiàn)更為優(yōu)越，支持不同體型和風(fēng)格的參考圖像，且具備零樣本生成和特定編舞的微調(diào)能力。

X-Dancer

X-Dancer的主要功能

從單張靜態(tài)圖像生成舞蹈視頻：通過(guò)提供一張人物圖像和一段音樂(lè)，生成與音樂(lè)節(jié)奏完美同步的全身舞蹈視頻。
多樣化與個(gè)性化的舞蹈動(dòng)作：支持多種風(fēng)格和復(fù)雜動(dòng)作的生成，包括頭部、手部等細(xì)節(jié)動(dòng)作，適應(yīng)不同體型和風(fēng)格的人物動(dòng)畫(huà)。
音樂(lè)節(jié)奏對(duì)齊：舞蹈動(dòng)作與音樂(lè)節(jié)奏緊密結(jié)合，精準(zhǔn)捕捉音樂(lè)的節(jié)拍與風(fēng)格。
零樣本生成與定制化：具備零樣本生成能力，能夠針對(duì)特定編舞風(fēng)格進(jìn)行微調(diào)，以滿足不同舞蹈需求。
高質(zhì)量視頻合成：生成的視頻具有高分辨率和逼真的視覺(jué)效果，確保與參考圖像的一致性。

X-Dancer的技術(shù)原理

姿態(tài)建模：通過(guò)2D人體姿態(tài)估計(jì)從單目視頻中提取舞蹈動(dòng)作，避免了3D姿態(tài)估計(jì)的復(fù)雜性與數(shù)據(jù)限制。
多部分姿態(tài)量化：將人體分為多個(gè)部分（如上半身、下半身、頭部、雙手），分別編碼為姿態(tài)標(biāo)記（tokens），并通過(guò)共享解碼器組合成完整姿態(tài)。
自回歸變換器：利用類(lèi)似GPT的自回歸模型，依據(jù)音樂(lè)特征和歷史姿態(tài)信息預(yù)測(cè)未來(lái)的姿態(tài)標(biāo)記序列，確保與音樂(lè)的同步。
擴(kuò)散模型合成：生成的姿態(tài)標(biāo)記通過(guò)可訓(xùn)練的解碼器轉(zhuǎn)換為空間引導(dǎo)信號(hào)，結(jié)合參考圖像特征，基于擴(kuò)散模型生成連貫的舞蹈視頻。
AdaIN與時(shí)空模塊：采用自適應(yīng)實(shí)例歸一化（AdaIN）和時(shí)空模塊，確保生成視頻的時(shí)空一致性和身份連貫性。

X-Dancer的官網(wǎng)

arXiv技術(shù)論文：https://arxiv.org/pdf/2502.17414

X-Dancer的應(yīng)用場(chǎng)景

社交媒體分享：用戶可以將照片與音樂(lè)結(jié)合，生成個(gè)性化舞蹈視頻，提升社交平臺(tái)內(nèi)容的趣味性。
虛擬角色動(dòng)畫(huà)：為虛擬現(xiàn)實(shí)和元宇宙中的角色生成同步舞蹈動(dòng)作，增強(qiáng)其表現(xiàn)力。
音樂(lè)游戲互動(dòng)：實(shí)時(shí)生成舞蹈動(dòng)作，提升音樂(lè)節(jié)奏游戲的視覺(jué)效果與互動(dòng)性。
廣告宣傳：結(jié)合品牌音樂(lè)生成舞蹈視頻，用于廣告推廣，以吸引用戶的關(guān)注。
舞蹈教育：生成各類(lèi)風(fēng)格的舞蹈視頻，輔助舞蹈教學(xué)或展示文化特色。