ExAvatar

ExAvatar是什么

ExAvatar是由DGIST與Meta公司的Codec Avatars Lab共同研發的3D數字形象生成模型。該技術能夠通過簡短的視頻捕捉人像，并將其轉化為逼真的3D數字形象。用戶只需使用手機進行掃描，便可快速捕捉全身的動作與表情，生成高質量的3D模型。ExAvatar結合了SMPL-X模型與3D高斯技術，實現高質量的動態渲染，支持全身動畫，減少偽影，提供自然流暢的體驗，廣泛適用于動畫、游戲及VR/AR等多個領域，簡化了3D角色創建的過程，拓展了應用場景。

ExAvatar的主要功能

• 全身3D驅動：支持全身的動作及表情動畫制作，涵蓋身體、手部及面部的動態表現。
• 混合表示法：結合3D高斯技術與表面網格，提升幾何形狀與外觀的一致性，減少動畫中的偽影。
• 便捷捕捉：用戶可通過手機掃描快速生成3D頭像，操作簡便。
• 高質量渲染：采用先進算法實現動態效果與視覺表現的高質量渲染。
• 技術優化：通過SMPL-X模型與多層感知器（MLP）處理，優化手部及面部的表現力與自然度。

ExAvatar的技術原理

• SMPL-X全身參數化網格模型：ExAvatar采用SMPL-X模型以捕捉人體的姿態與動作，能夠精確模擬人體的各種姿勢。
• 3D高斯濺射技術（3DGS）：此技術增強了渲染的真實感與效率，通過模擬光線在表面上的散射，使得3D模型顯得更加真實。
• 混合表示法：結合3D高斯與表面網格，確保在不同姿勢下的幾何形狀與外觀一致，有效減少新姿勢可能出現的偽影。
• 多層感知器（MLP）：處理每個高斯特征，提取關鍵信息，并將這些信息與標準網格結合，形成可在標準空間中動畫化的3D頭像。
• 線性混合插值（LBS）算法：用于動畫處理，使ExAvatar能夠生成平滑且自然的動作過渡。
• 關節偏移量與面部偏移量：在訓練ExAvatar之前，研究團隊對身體、手部和面部進行了共同配準，并引入這些偏移量，以優化手部骨骼長度與面部區域形狀，提升頭像的表現能力與自然度。
• 基于連接的正則化器：減少新表情與姿勢的偽影，通過預定義的連接性，確保3D高斯與SMPL-X的網格拓撲結構相一致。

ExAvatar的項目地址

• GitHub倉庫：https://mks0601.github.io/ExAvatar/
• arXiv技術論文：https://arxiv.org/pdf/2407.21686

ExAvatar的應用場景

• 3D動畫制作：動畫師可借助ExAvatar快速創建生動的3D角色，用于動畫電影、電視劇或短片制作。
• 游戲開發：游戲開發者能夠運用ExAvatar技術為游戲角色設計動態的全身動作與表情，提升游戲的沉浸體驗。
• 虛擬現實（VR）：在VR環境中，用戶可利用ExAvatar生成個人化的3D形象，享受沉浸式體驗。
• 增強現實（AR）：ExAvatar可應用于AR場景，例如社交媒體、廣告或教育軟件中，以增強互動性。
• 電影特效：特效師能夠運用ExAvatar技術捕捉演員的動作與表情，用于后期特效制作。