TaoAvatar

TaoAvatar – 阿里推出的實時高清3D全身對話數(shù)字人技術(shù)

TaoAvatar是一款由阿里巴巴集團研究團隊開發(fā)的高保真、輕量級3D全身對話虛擬人技術(shù)。借助先進的3D高斯濺射技術(shù)，TaoAvatar能夠生成極具真實性的3D全身虛擬形象，支持高分辨率渲染并具備低存儲需求。這項技術(shù)可在多種移動設(shè)備和增強現(xiàn)實（AR）設(shè)備上以每秒90幀的高幀率實時運行，通過語音、面部表情、手勢和身體姿態(tài)等多種信號實現(xiàn)自然的口型、表情和動作同步。

TaoAvatar是什么

TaoAvatar是由阿里巴巴集團研究團隊推出的創(chuàng)新技術(shù)，旨在提供高保真的3D全身虛擬人體驗。它基于3D高斯濺射技術(shù)，能夠生成高度真實的虛擬形象，并支持在多種設(shè)備上實時渲染，適應(yīng)低存儲需求的特點，使其在實際應(yīng)用中更加靈活和高效。

TaoAvatar的主要功能

• 高保真全身動態(tài)虛擬形象生成：能夠從多個視角的圖像序列中生成逼真的3D全身虛擬形象，支持對姿態(tài)、手勢及表情的精細控制。
• 實時渲染與低存儲需求：在各種移動和AR設(shè)備上以90FPS高幀率實時運行，并支持高分辨率渲染，同時保持較低的存儲需求。
• 多信號驅(qū)動：通過語音、表情、手勢和身體姿勢等多種信號驅(qū)動，實現(xiàn)口型、表情和動作的自然同步，提升交互體驗。
• 輕量級架構(gòu)：將復(fù)雜的非剛性變形“烘焙”到輕量級的MLP網(wǎng)絡(luò)中，結(jié)合混合形狀補償細節(jié)，大幅提高運行效率。

TaoAvatar的技術(shù)原理

• 3D高斯濺射（3DGS）技術(shù)：3DGS利用3D高斯函數(shù)表示場景中的點，并將其投影到2D圖像平面進行渲染。每個3D高斯由位置、協(xié)方差、顏色和透明度等參數(shù)描述。通過結(jié)構(gòu)光技術(shù)從多視角圖像中估計3D點云，并將每個點轉(zhuǎn)化為高斯函數(shù)，借助隨機梯度下降進行訓(xùn)練。
• 姿態(tài)依賴非剛性變形處理：TaoAvatar將復(fù)雜的非剛性變形分解為剛性和形狀變形兩個部分，通過知識蒸餾技術(shù)將形狀變形“烘焙”到輕量級的MLP網(wǎng)絡(luò)中，以高效處理復(fù)雜的姿態(tài)依賴非剛性變形，同時保持虛擬形象的真實感和可控性。
• 可學(xué)習(xí)的高斯混合形狀：TaoAvatar通過引入可學(xué)習(xí)的高斯混合形狀，進一步增強虛擬形象的外觀細節(jié)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練不同姿態(tài)和表情下的高斯混合形狀參數(shù)，使虛擬形象在各種姿態(tài)和表情下保持極高的真實感。
• 實時渲染與優(yōu)化：采用多種優(yōu)化技術(shù)如GPU加速、減少不必要的計算和優(yōu)化模型結(jié)構(gòu)等，TaoAvatar實現(xiàn)高質(zhì)量的實時渲染，在高分辨率顯示設(shè)備如Apple Vision Pro上保持每秒90幀的流暢運行。

TaoAvatar的項目地址

• 項目官網(wǎng)：https://pixelai-team.github.io/TaoAvatar/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.17032

TaoAvatar的應(yīng)用場景

• 電子商務(wù)直播：通過創(chuàng)建真實感十足的虛擬主播，提高用戶體驗并降低人力成本。
• 全息通信：在遠程通信中生成逼真的虛擬形象，增強用戶的沉浸感。
• 虛擬會議：參與者可使用個性化的虛擬形象進行交流，提升互動性。
• 在線教育：借助虛擬人進行在線課程教學(xué)，增加趣味性和參與感。
• 虛擬娛樂：在游戲和虛擬現(xiàn)實應(yīng)用中創(chuàng)建個性化的虛擬角色，豐富用戶體驗。

常見問題

• TaoAvatar可以在哪些設(shè)備上使用？：TaoAvatar支持多種移動設(shè)備和AR設(shè)備。
• 它的運行效率如何？：TaoAvatar能夠以90FPS的高幀率進行實時渲染，并且具有低存儲需求。
• 如何實現(xiàn)虛擬形象的自然同步？：TaoAvatar通過多種信號驅(qū)動，包括語音、面部表情和手勢等，實現(xiàn)自然的口型、表情和動作同步。
• 使用TaoAvatar的主要優(yōu)勢是什么？：其高保真度、實時渲染和低存儲需求使其在多種應(yīng)用場景中具有廣泛的適用性。