PortraitGen

PortraitGen是一款由中國科學(xué)技術(shù)大學(xué)研究團(tuán)隊開發(fā)的AI人像視頻編輯工具。該工具利用先進(jìn)的3D高斯濺射技術(shù)與神經(jīng)高斯紋理機(jī)制，將傳統(tǒng)的2D人像視頻轉(zhuǎn)變?yōu)榫哂兴木S高斯場的高質(zhì)量視頻，實現(xiàn)了出色的3D效果和時間連續(xù)性編輯。PortraitGen支持多種編輯模式，包括文本驅(qū)動和圖像驅(qū)動的編輯功能，能夠高效地對視頻中的角色進(jìn)行風(fēng)格化、換裝及光照調(diào)整等操作。

PortraitGen是什么

PortraitGen是中國科學(xué)技術(shù)大學(xué)的研究團(tuán)隊推出的一款A(yù)I人像視頻編輯工具。它通過3D高斯濺射技術(shù)與神經(jīng)高斯紋理機(jī)制，將2D人像視頻轉(zhuǎn)換為4D高斯場，從而實現(xiàn)高質(zhì)量的3D效果和時間一致性編輯。該工具支持多模態(tài)編輯，包括文本驅(qū)動和圖像驅(qū)動的編輯方式，用戶可以快速、輕松地對視頻中的人物進(jìn)行風(fēng)格化、換衣和光照調(diào)整等操作。通過面部感知編輯和表達(dá)式相似性指導(dǎo)，PortraitGen確保編輯后的肖像自然且與原始視頻幀保持一致性。

PortraitGen的主要功能

• 多模態(tài)人像編輯：支持文本驅(qū)動和圖像驅(qū)動的編輯方式，用戶可以通過文字描述指定人物的動作、表情和場景變化，或使用參考圖像進(jìn)行風(fēng)格轉(zhuǎn)換或虛擬試穿。
• 光照調(diào)節(jié)：采用IC-Light技術(shù)，根據(jù)文本描述動態(tài)調(diào)整視頻中的光照效果，使其與場景完美融合。
• 人臉感知編輯：通過面部感知編輯模塊，確保編輯過程中保留人物的面部結(jié)構(gòu)和個性特征，優(yōu)化人物表情和面部動作的自然性與一致性。
• 風(fēng)格轉(zhuǎn)換與虛擬試穿：支持風(fēng)格轉(zhuǎn)換和虛擬試穿，用戶可以通過參考圖像實現(xiàn)全局風(fēng)格遷移（如動畫風(fēng)格）或為視頻中的角色添加虛擬服裝等物品。
• 多鏡頭和復(fù)雜場景處理：能夠處理多鏡頭視頻，保持風(fēng)格和人物的一致性，并通過高斯紋理技術(shù)實現(xiàn)復(fù)雜風(fēng)格的視頻渲染，例如樂高風(fēng)格或像素藝術(shù)風(fēng)格。
• 快速生成與高幀率輸出：能在短時間內(nèi)完成編輯，生成視頻時支持高達(dá)100幀每秒（FPS）的渲染速度，適合高效的視頻制作需求。

PortraitGen的技術(shù)原理

• 3D高斯濺射：基于3D高斯表示來構(gòu)建場景，通過3D協(xié)方差矩陣定義每個高斯的中心、方向、大小以及不透明度和顏色屬性，形成動態(tài)3D場。
• 神經(jīng)高斯紋理機(jī)制：在SMPL-X模型的UV空間中維護(hù)一個3D高斯場，根據(jù)輸入視頻中的底層網(wǎng)格變形調(diào)整高斯，并利用UV映射和2D神經(jīng)渲染器將特征圖轉(zhuǎn)化為RGB信號。
• 面部感知編輯模塊：對面部區(qū)域進(jìn)行兩次編輯，以增強(qiáng)面部結(jié)構(gòu)的感知，提升編輯質(zhì)量。
• 表達(dá)式相似性指導(dǎo)：將渲染圖像和輸入源圖像映射到EMOCA的潛在表達(dá)式空間，使用損失函數(shù)確保表情保持相似。
• 多模態(tài)編輯技術(shù)：結(jié)合大規(guī)模2D生成模型的知識，實現(xiàn)文本驅(qū)動編輯、圖像驅(qū)動編輯以及重新照明。

PortraitGen的項目地址

• 項目官網(wǎng)：ustc3dv.github.io/PortraitGen
• GitHub倉庫：https://github.com/USTC3DV/PortraitGen-code
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.13591

PortraitGen的應(yīng)用場景

• 電影和影視制作：在電影、電視劇或短片制作中，創(chuàng)建或修改角色外觀，實現(xiàn)特效化妝或風(fēng)格化場景轉(zhuǎn)換。
• 藝術(shù)創(chuàng)作：藝術(shù)家和插畫師使用PortraitGen創(chuàng)作具有特定風(fēng)格的人像藝術(shù)作品，例如將肖像轉(zhuǎn)換為像素藝術(shù)或油畫風(fēng)格。
• 廣告和宣傳：在廣告行業(yè)中，根據(jù)品牌形象或產(chǎn)品特點，對人物肖像進(jìn)行個性化編輯，以吸引目標(biāo)受眾。
• 時尚行業(yè)：時尚設(shè)計師和零售商通過虛擬試穿功能，在虛擬環(huán)境中展示服裝和配飾，為客戶提供全新的購物體驗。
• 社交媒體和短視頻：內(nèi)容創(chuàng)作者和影響者使用PortraitGen編輯自己的肖像視頻，增加創(chuàng)意效果，提高內(nèi)容的吸引力和互動性。
• 游戲開發(fā)：在游戲角色設(shè)計中，快速生成或編輯角色外觀，提高游戲的個性化和豐富性。

常見問題

• PortraitGen適合哪些用戶使用？ PortraitGen適合影視制作人、藝術(shù)創(chuàng)作者、廣告設(shè)計師、時尚行業(yè)專業(yè)人士及社交媒體內(nèi)容創(chuàng)作者等多種用戶使用。
• 使用PortraitGen需要什么樣的設(shè)備？ PortraitGen建議在具有較高計算能力的設(shè)備上使用，以確保流暢的編輯體驗和高幀率輸出。
• 是否支持多語言？ 目前，PortraitGen主要支持中文和英文，未來可能會增加更多語言的支持。