TaoAvatar

TaoAvatar – 阿里推出的實(shí)時(shí)高清3D全身對(duì)話數(shù)字人技術(shù)

TaoAvatar是一款由阿里巴巴集團(tuán)研究團(tuán)隊(duì)開發(fā)的高保真、輕量級(jí)3D全身對(duì)話虛擬人技術(shù)。借助先進(jìn)的3D高斯濺射技術(shù)，TaoAvatar能夠生成極具真實(shí)性的3D全身虛擬形象，支持高分辨率渲染并具備低存儲(chǔ)需求。這項(xiàng)技術(shù)可在多種移動(dòng)設(shè)備和增強(qiáng)現(xiàn)實(shí)（AR）設(shè)備上以每秒90幀的高幀率實(shí)時(shí)運(yùn)行，通過語音、面部表情、手勢(shì)和身體姿態(tài)等多種信號(hào)實(shí)現(xiàn)自然的口型、表情和動(dòng)作同步。

TaoAvatar是什么

TaoAvatar是由阿里巴巴集團(tuán)研究團(tuán)隊(duì)推出的創(chuàng)新技術(shù)，旨在提供高保真的3D全身虛擬人體驗(yàn)。它基于3D高斯濺射技術(shù)，能夠生成高度真實(shí)的虛擬形象，并支持在多種設(shè)備上實(shí)時(shí)渲染，適應(yīng)低存儲(chǔ)需求的特點(diǎn)，使其在實(shí)際應(yīng)用中更加靈活和高效。

TaoAvatar的主要功能

• 高保真全身動(dòng)態(tài)虛擬形象生成：能夠從多個(gè)視角的圖像序列中生成逼真的3D全身虛擬形象，支持對(duì)姿態(tài)、手勢(shì)及表情的精細(xì)控制。
• 實(shí)時(shí)渲染與低存儲(chǔ)需求：在各種移動(dòng)和AR設(shè)備上以90FPS高幀率實(shí)時(shí)運(yùn)行，并支持高分辨率渲染，同時(shí)保持較低的存儲(chǔ)需求。
• 多信號(hào)驅(qū)動(dòng)：通過語音、表情、手勢(shì)和身體姿勢(shì)等多種信號(hào)驅(qū)動(dòng)，實(shí)現(xiàn)口型、表情和動(dòng)作的自然同步，提升交互體驗(yàn)。
• 輕量級(jí)架構(gòu)：將復(fù)雜的非剛性變形“烘焙”到輕量級(jí)的MLP網(wǎng)絡(luò)中，結(jié)合混合形狀補(bǔ)償細(xì)節(jié)，大幅提高運(yùn)行效率。

TaoAvatar的技術(shù)原理

• 3D高斯濺射（3DGS）技術(shù)：3DGS利用3D高斯函數(shù)表示場(chǎng)景中的點(diǎn)，并將其投影到2D圖像平面進(jìn)行渲染。每個(gè)3D高斯由位置、協(xié)方差、顏色和透明度等參數(shù)描述。通過結(jié)構(gòu)光技術(shù)從多視角圖像中估計(jì)3D點(diǎn)云，并將每個(gè)點(diǎn)轉(zhuǎn)化為高斯函數(shù)，借助隨機(jī)梯度下降進(jìn)行訓(xùn)練。
• 姿態(tài)依賴非剛性變形處理：TaoAvatar將復(fù)雜的非剛性變形分解為剛性和形狀變形兩個(gè)部分，通過知識(shí)蒸餾技術(shù)將形狀變形“烘焙”到輕量級(jí)的MLP網(wǎng)絡(luò)中，以高效處理復(fù)雜的姿態(tài)依賴非剛性變形，同時(shí)保持虛擬形象的真實(shí)感和可控性。
• 可學(xué)習(xí)的高斯混合形狀：TaoAvatar通過引入可學(xué)習(xí)的高斯混合形狀，進(jìn)一步增強(qiáng)虛擬形象的外觀細(xì)節(jié)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練不同姿態(tài)和表情下的高斯混合形狀參數(shù)，使虛擬形象在各種姿態(tài)和表情下保持極高的真實(shí)感。
• 實(shí)時(shí)渲染與優(yōu)化：采用多種優(yōu)化技術(shù)如GPU加速、減少不必要的計(jì)算和優(yōu)化模型結(jié)構(gòu)等，TaoAvatar實(shí)現(xiàn)高質(zhì)量的實(shí)時(shí)渲染，在高分辨率顯示設(shè)備如Apple Vision Pro上保持每秒90幀的流暢運(yùn)行。

TaoAvatar的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://pixelai-team.github.io/TaoAvatar/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.17032

TaoAvatar的應(yīng)用場(chǎng)景

• 電子商務(wù)直播：通過創(chuàng)建真實(shí)感十足的虛擬主播，提高用戶體驗(yàn)并降低人力成本。
• 全息通信：在遠(yuǎn)程通信中生成逼真的虛擬形象，增強(qiáng)用戶的沉浸感。
• 虛擬會(huì)議：參與者可使用個(gè)性化的虛擬形象進(jìn)行交流，提升互動(dòng)性。
• 在線教育：借助虛擬人進(jìn)行在線課程教學(xué)，增加趣味性和參與感。
• 虛擬娛樂：在游戲和虛擬現(xiàn)實(shí)應(yīng)用中創(chuàng)建個(gè)性化的虛擬角色，豐富用戶體驗(yàn)。

常見問題

• TaoAvatar可以在哪些設(shè)備上使用？：TaoAvatar支持多種移動(dòng)設(shè)備和AR設(shè)備。
• 它的運(yùn)行效率如何？：TaoAvatar能夠以90FPS的高幀率進(jìn)行實(shí)時(shí)渲染，并且具有低存儲(chǔ)需求。
• 如何實(shí)現(xiàn)虛擬形象的自然同步？：TaoAvatar通過多種信號(hào)驅(qū)動(dòng)，包括語音、面部表情和手勢(shì)等，實(shí)現(xiàn)自然的口型、表情和動(dòng)作同步。
• 使用TaoAvatar的主要優(yōu)勢(shì)是什么？：其高保真度、實(shí)時(shí)渲染和低存儲(chǔ)需求使其在多種應(yīng)用場(chǎng)景中具有廣泛的適用性。