TaoAvatar – 阿里推出的實時高清3D全身對話數字人技術

TaoAvatar是一款由阿里巴巴集團研究團隊開發的高保真、輕量級3D全身對話虛擬人技術。借助先進的3D高斯濺射技術，TaoAvatar能夠生成極具真實性的3D全身虛擬形象，支持高分辨率渲染并具備低存儲需求。這項技術可在多種移動設備和增強現實（AR）設備上以每秒90幀的高幀率實時運行，通過語音、面部表情、手勢和身體姿態等多種信號實現自然的口型、表情和動作同步。

TaoAvatar是什么

TaoAvatar是由阿里巴巴集團研究團隊推出的創新技術，旨在提供高保真的3D全身虛擬人體驗。它基于3D高斯濺射技術，能夠生成高度真實的虛擬形象，并支持在多種設備上實時渲染，適應低存儲需求的特點，使其在實際應用中更加靈活和高效。

TaoAvatar的主要功能

• 高保真全身動態虛擬形象生成：能夠從多個視角的圖像序列中生成逼真的3D全身虛擬形象，支持對姿態、手勢及表情的精細控制。
• 實時渲染與低存儲需求：在各種移動和AR設備上以90FPS高幀率實時運行，并支持高分辨率渲染，同時保持較低的存儲需求。
• 多信號驅動：通過語音、表情、手勢和身體姿勢等多種信號驅動，實現口型、表情和動作的自然同步，提升交互體驗。
• 輕量級架構：將復雜的非剛性變形“烘焙”到輕量級的MLP網絡中，結合混合形狀補償細節，大幅提高運行效率。

TaoAvatar的技術原理

• 3D高斯濺射（3DGS）技術：3DGS利用3D高斯函數表示場景中的點，并將其投影到2D圖像平面進行渲染。每個3D高斯由位置、協方差、顏色和透明度等參數描述。通過結構光技術從多視角圖像中估計3D點云，并將每個點轉化為高斯函數，借助隨機梯度下降進行訓練。
• 姿態依賴非剛性變形處理：TaoAvatar將復雜的非剛性變形分解為剛性和形狀變形兩個部分，通過知識蒸餾技術將形狀變形“烘焙”到輕量級的MLP網絡中，以高效處理復雜的姿態依賴非剛性變形，同時保持虛擬形象的真實感和可控性。
• 可學習的高斯混合形狀：TaoAvatar通過引入可學習的高斯混合形狀，進一步增強虛擬形象的外觀細節。神經網絡訓練不同姿態和表情下的高斯混合形狀參數，使虛擬形象在各種姿態和表情下保持極高的真實感。
• 實時渲染與優化：采用多種優化技術如GPU加速、減少不必要的計算和優化模型結構等，TaoAvatar實現高質量的實時渲染，在高分辨率顯示設備如Apple Vision Pro上保持每秒90幀的流暢運行。

TaoAvatar的項目地址

• 項目官網：https://pixelai-team.github.io/TaoAvatar/
• arXiv技術論文：https://arxiv.org/pdf/2503.17032

TaoAvatar的應用場景

• 電子商務直播：通過創建真實感十足的虛擬主播，提高用戶體驗并降低人力成本。
• 全息通信：在遠程通信中生成逼真的虛擬形象，增強用戶的沉浸感。
• 虛擬會議：參與者可使用個性化的虛擬形象進行交流，提升互動性。
• 在線教育：借助虛擬人進行在線課程教學，增加趣味性和參與感。
• 虛擬娛樂：在游戲和虛擬現實應用中創建個性化的虛擬角色，豐富用戶體驗。

常見問題

• TaoAvatar可以在哪些設備上使用？：TaoAvatar支持多種移動設備和AR設備。
• 它的運行效率如何？：TaoAvatar能夠以90FPS的高幀率進行實時渲染，并且具有低存儲需求。
• 如何實現虛擬形象的自然同步？：TaoAvatar通過多種信號驅動，包括語音、面部表情和手勢等，實現自然的口型、表情和動作同步。
• 使用TaoAvatar的主要優勢是什么？：其高保真度、實時渲染和低存儲需求使其在多種應用場景中具有廣泛的適用性。