首爾國立大學推出的單參考圖像生成多身份全身圖像技術

產品名稱：PersonaCraft
產品簡介：PersonaCraft是韓國首爾國立大學推出的個性化全身圖像合成技術，結合擴散模型和3D人類建模，能從單一參考圖像生成多個人物的逼真、個性化全身圖像。PersonaCraft能有效處理人物間的遮擋問題，支持用戶自定義身體形狀調整，實現更靈活的個性化定制。
詳細介紹：

PersonaCraft是什么

PersonaCraft是韓國首爾國立大學推出的個性化全身圖像合成技術，結合擴散模型和3D人類建模，能從單一參考圖像生成多個人物的逼真、個性化全身圖像。PersonaCraft能有效處理人物間的遮擋問題，支持用戶自定義身體形狀調整，實現更靈活的個性化定制。基于精確控制身體姿態和形狀，PersonaCraft在復雜場景中生成高質量圖像方面表現出色，為多人圖像合成樹立了新標準。

PersonaCraft的主要功能

• 多人物圖像合成：根據單一參考圖像生成包含多個人物的逼真圖像。
• 遮擋處理：有效管理人物間的遮擋問題，確保圖像中每個人物的身體部分都能準確展現。
• 全身個性化：不僅關注面部身份的個性化，還能準確個性化每個人的全身形狀。
• 用戶定義身體形狀控制：用戶根據個人喜好調整生物的身體比例和形狀。
• 3D感知姿態條件控制：用SMPLx-ControlNet（SCNet）進行3D感知的姿態條件控制，提高身體形狀和姿態的準確性。

PersonaCraft的技術原理

• 3D人類建模與擴散模型結合：PersonaCraft整合3D人類建模（特別是SMPLx模型）和擴散模型，增強對人物身體形狀和姿態的控制。
• SMPLx-ControlNet（SCNet）：用SMPLx模型生成的深度圖作為條件信號，準確捕捉身體形狀和姿態，有效處理復雜的遮擋問題。
• 面部和身體身份提取：基于InsightFace等技術從參考圖像中提取面部身份嵌入，用SMPLx擬合方法提取身體形狀參數。
• 3D感知姿態條件：與傳統的2D骨架姿勢條件不同，PersonaCraft用3D姿勢信息，提供更全面的人體姿勢表示，包括深度信息。
• 多人個性化圖像合成：結合SCNet和IdentityNet，使用面部掩碼準確定位身份，實現多人身份的個性化圖像合成。

PersonaCraft的項目地址

• 項目官網：gwang-kim.github.io/persona_craft
• GitHub倉庫：https://github.com/gwang-kim/PersonaCraft
• arXiv技術論文：https://arxiv.org/pdf/2411.18068

PersonaCraft的應用場景

• 社交媒體：用戶根據喜好定制個人或與朋友一起的虛擬形象，用在社交媒體頭像、虛擬空間中的代表形象等。
• 廣告與營銷：品牌創建符合目標受眾偏好的個性化廣告圖像，提高廣告的吸引力和用戶的共鳴。
• 時尚與服裝：在時尚行業中，展示服裝在不同體型和身份的人物上的穿著效果，提供更加個性化的購物體驗。
• 游戲與娛樂：在游戲設計中，創建具有個性化外觀的游戲角色，增強玩家的沉浸感和個性化體驗。
• 電影與動畫制作：在電影或動畫制作中快速生成或修改人物形象，提高制作效率并降低成本。