PortraitGen是一款由中國科學技術大學研究團隊開發的AI人像視頻編輯工具。該工具利用先進的3D高斯濺射技術與神經高斯紋理機制，將傳統的2D人像視頻轉變為具有四維高斯場的高質量視頻，實現了出色的3D效果和時間連續性編輯。PortraitGen支持多種編輯模式，包括文本驅動和圖像驅動的編輯功能，能夠高效地對視頻中的角色進行風格化、換裝及光照調整等操作。

PortraitGen是什么

PortraitGen是中國科學技術大學的研究團隊推出的一款AI人像視頻編輯工具。它通過3D高斯濺射技術與神經高斯紋理機制，將2D人像視頻轉換為4D高斯場，從而實現高質量的3D效果和時間一致性編輯。該工具支持多模態編輯，包括文本驅動和圖像驅動的編輯方式，用戶可以快速、輕松地對視頻中的人物進行風格化、換衣和光照調整等操作。通過面部感知編輯和表達式相似性指導，PortraitGen確保編輯后的肖像自然且與原始視頻幀保持一致性。

PortraitGen的主要功能

• 多模態人像編輯：支持文本驅動和圖像驅動的編輯方式，用戶可以通過文字描述指定人物的動作、表情和場景變化，或使用參考圖像進行風格轉換或虛擬試穿。
• 光照調節：采用IC-Light技術，根據文本描述動態調整視頻中的光照效果，使其與場景完美融合。
• 人臉感知編輯：通過面部感知編輯模塊，確保編輯過程中保留人物的面部結構和個性特征，優化人物表情和面部動作的自然性與一致性。
• 風格轉換與虛擬試穿：支持風格轉換和虛擬試穿，用戶可以通過參考圖像實現全局風格遷移（如動畫風格）或為視頻中的角色添加虛擬服裝等物品。
• 多鏡頭和復雜場景處理：能夠處理多鏡頭視頻，保持風格和人物的一致性，并通過高斯紋理技術實現復雜風格的視頻渲染，例如樂高風格或像素藝術風格。
• 快速生成與高幀率輸出：能在短時間內完成編輯，生成視頻時支持高達100幀每秒（FPS）的渲染速度，適合高效的視頻制作需求。

PortraitGen的技術原理

• 3D高斯濺射：基于3D高斯表示來構建場景，通過3D協方差矩陣定義每個高斯的中心、方向、大小以及不透明度和顏色屬性，形成動態3D場。
• 神經高斯紋理機制：在SMPL-X模型的UV空間中維護一個3D高斯場，根據輸入視頻中的底層網格變形調整高斯，并利用UV映射和2D神經渲染器將特征圖轉化為RGB信號。
• 面部感知編輯模塊：對面部區域進行兩次編輯，以增強面部結構的感知，提升編輯質量。
• 表達式相似性指導：將渲染圖像和輸入源圖像映射到EMOCA的潛在表達式空間，使用損失函數確保表情保持相似。
• 多模態編輯技術：結合大規模2D生成模型的知識，實現文本驅動編輯、圖像驅動編輯以及重新照明。

PortraitGen的項目地址

• 項目官網：ustc3dv.github.io/PortraitGen
• GitHub倉庫：https://github.com/USTC3DV/PortraitGen-code
• arXiv技術論文：https://arxiv.org/pdf/2409.13591

PortraitGen的應用場景

• 電影和影視制作：在電影、電視劇或短片制作中，創建或修改角色外觀，實現特效化妝或風格化場景轉換。
• 藝術創作：藝術家和插畫師使用PortraitGen創作具有特定風格的人像藝術作品，例如將肖像轉換為像素藝術或油畫風格。
• 廣告和宣傳：在廣告行業中，根據品牌形象或產品特點，對人物肖像進行個性化編輯，以吸引目標受眾。
• 時尚行業：時尚設計師和零售商通過虛擬試穿功能，在虛擬環境中展示服裝和配飾，為客戶提供全新的購物體驗。
• 社交媒體和短視頻：內容創作者和影響者使用PortraitGen編輯自己的肖像視頻，增加創意效果，提高內容的吸引力和互動性。
• 游戲開發：在游戲角色設計中，快速生成或編輯角色外觀，提高游戲的個性化和豐富性。

常見問題

• PortraitGen適合哪些用戶使用？ PortraitGen適合影視制作人、藝術創作者、廣告設計師、時尚行業專業人士及社交媒體內容創作者等多種用戶使用。
• 使用PortraitGen需要什么樣的設備？ PortraitGen建議在具有較高計算能力的設備上使用，以確保流暢的編輯體驗和高幀率輸出。
• 是否支持多語言？ 目前，PortraitGen主要支持中文和英文，未來可能會增加更多語言的支持。