ExAvatar

ExAvatar是什么

ExAvatar是由DGIST與Meta公司的Codec Avatars Lab共同研發(fā)的3D數(shù)字形象生成模型。該技術(shù)能夠通過簡短的視頻捕捉人像，并將其轉(zhuǎn)化為逼真的3D數(shù)字形象。用戶只需使用手機(jī)進(jìn)行掃描，便可快速捕捉全身的動(dòng)作與表情，生成高質(zhì)量的3D模型。ExAvatar結(jié)合了SMPL-X模型與3D高斯技術(shù)，實(shí)現(xiàn)高質(zhì)量的動(dòng)態(tài)渲染，支持全身動(dòng)畫，減少偽影，提供自然流暢的體驗(yàn)，廣泛適用于動(dòng)畫、游戲及VR/AR等多個(gè)領(lǐng)域，簡化了3D角色創(chuàng)建的過程，拓展了應(yīng)用場景。

ExAvatar的主要功能

• 全身3D驅(qū)動(dòng)：支持全身的動(dòng)作及表情動(dòng)畫制作，涵蓋身體、手部及面部的動(dòng)態(tài)表現(xiàn)。
• 混合表示法：結(jié)合3D高斯技術(shù)與表面網(wǎng)格，提升幾何形狀與外觀的一致性，減少動(dòng)畫中的偽影。
• 便捷捕捉：用戶可通過手機(jī)掃描快速生成3D頭像，操作簡便。
• 高質(zhì)量渲染：采用先進(jìn)算法實(shí)現(xiàn)動(dòng)態(tài)效果與視覺表現(xiàn)的高質(zhì)量渲染。
• 技術(shù)優(yōu)化：通過SMPL-X模型與多層感知器（MLP）處理，優(yōu)化手部及面部的表現(xiàn)力與自然度。

ExAvatar的技術(shù)原理

• SMPL-X全身參數(shù)化網(wǎng)格模型：ExAvatar采用SMPL-X模型以捕捉人體的姿態(tài)與動(dòng)作，能夠精確模擬人體的各種姿勢。
• 3D高斯濺射技術(shù)（3DGS）：此技術(shù)增強(qiáng)了渲染的真實(shí)感與效率，通過模擬光線在表面上的散射，使得3D模型顯得更加真實(shí)。
• 混合表示法：結(jié)合3D高斯與表面網(wǎng)格，確保在不同姿勢下的幾何形狀與外觀一致，有效減少新姿勢可能出現(xiàn)的偽影。
• 多層感知器（MLP）：處理每個(gè)高斯特征，提取關(guān)鍵信息，并將這些信息與標(biāo)準(zhǔn)網(wǎng)格結(jié)合，形成可在標(biāo)準(zhǔn)空間中動(dòng)畫化的3D頭像。
• 線性混合插值（LBS）算法：用于動(dòng)畫處理，使ExAvatar能夠生成平滑且自然的動(dòng)作過渡。
• 關(guān)節(jié)偏移量與面部偏移量：在訓(xùn)練ExAvatar之前，研究團(tuán)隊(duì)對身體、手部和面部進(jìn)行了共同配準(zhǔn)，并引入這些偏移量，以優(yōu)化手部骨骼長度與面部區(qū)域形狀，提升頭像的表現(xiàn)能力與自然度。
• 基于連接的正則化器：減少新表情與姿勢的偽影，通過預(yù)定義的連接性，確保3D高斯與SMPL-X的網(wǎng)格拓?fù)浣Y(jié)構(gòu)相一致。

ExAvatar的項(xiàng)目地址

• GitHub倉庫：https://mks0601.github.io/ExAvatar/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2407.21686

ExAvatar的應(yīng)用場景

• 3D動(dòng)畫制作：動(dòng)畫師可借助ExAvatar快速創(chuàng)建生動(dòng)的3D角色，用于動(dòng)畫電影、電視劇或短片制作。
• 游戲開發(fā)：游戲開發(fā)者能夠運(yùn)用ExAvatar技術(shù)為游戲角色設(shè)計(jì)動(dòng)態(tài)的全身動(dòng)作與表情，提升游戲的沉浸體驗(yàn)。
• 虛擬現(xiàn)實(shí)（VR）：在VR環(huán)境中，用戶可利用ExAvatar生成個(gè)人化的3D形象，享受沉浸式體驗(yàn)。
• 增強(qiáng)現(xiàn)實(shí)（AR）：ExAvatar可應(yīng)用于AR場景，例如社交媒體、廣告或教育軟件中，以增強(qiáng)互動(dòng)性。
• 電影特效：特效師能夠運(yùn)用ExAvatar技術(shù)捕捉演員的動(dòng)作與表情，用于后期特效制作。