產(chǎn)品名稱：PersonaCraft
產(chǎn)品簡介：PersonaCraft是韓國首爾國立大學(xué)推出的個性化全身圖像合成技術(shù)，結(jié)合擴(kuò)散模型和3D人類建模，能從單一參考圖像生成多個人物的逼真、個性化全身圖像。PersonaCraft能有效處理人物間的遮擋問題，支持用戶自定義身體形狀調(diào)整，實現(xiàn)更靈活的個性化定制。
詳細(xì)介紹：

PersonaCraft是什么

PersonaCraft是韓國首爾國立大學(xué)推出的個性化全身圖像合成技術(shù)，結(jié)合擴(kuò)散模型和3D人類建模，能從單一參考圖像生成多個人物的逼真、個性化全身圖像。PersonaCraft能有效處理人物間的遮擋問題，支持用戶自定義身體形狀調(diào)整，實現(xiàn)更靈活的個性化定制?；诰_控制身體姿態(tài)和形狀，PersonaCraft在復(fù)雜場景中生成高質(zhì)量圖像方面表現(xiàn)出色，為多人圖像合成樹立了新標(biāo)準(zhǔn)。

PersonaCraft的主要功能

• 多人物圖像合成：根據(jù)單一參考圖像生成包含多個人物的逼真圖像。
• 遮擋處理：有效管理人物間的遮擋問題，確保圖像中每個人物的身體部分都能準(zhǔn)確展現(xiàn)。
• 全身個性化：不僅關(guān)注面部身份的個性化，還能準(zhǔn)確個性化每個人的全身形狀。
• 用戶定義身體形狀控制：用戶根據(jù)個人喜好調(diào)整生物的身體比例和形狀。
• 3D感知姿態(tài)條件控制：用SMPLx-ControlNet（SCNet）進(jìn)行3D感知的姿態(tài)條件控制，提高身體形狀和姿態(tài)的準(zhǔn)確性。

PersonaCraft的技術(shù)原理

• 3D人類建模與擴(kuò)散模型結(jié)合：PersonaCraft整合3D人類建模（特別是SMPLx模型）和擴(kuò)散模型，增強(qiáng)對人物身體形狀和姿態(tài)的控制。
• SMPLx-ControlNet（SCNet）：用SMPLx模型生成的深度圖作為條件信號，準(zhǔn)確捕捉身體形狀和姿態(tài)，有效處理復(fù)雜的遮擋問題。
• 面部和身體身份提取：基于InsightFace等技術(shù)從參考圖像中提取面部身份嵌入，用SMPLx擬合方法提取身體形狀參數(shù)。
• 3D感知姿態(tài)條件：與傳統(tǒng)的2D骨架姿勢條件不同，PersonaCraft用3D姿勢信息，提供更全面的人體姿勢表示，包括深度信息。
• 多人個性化圖像合成：結(jié)合SCNet和IdentityNet，使用面部掩碼準(zhǔn)確定位身份，實現(xiàn)多人身份的個性化圖像合成。

PersonaCraft的項目地址

• 項目官網(wǎng)：gwang-kim.github.io/persona_craft
• GitHub倉庫：https://github.com/gwang-kim/PersonaCraft
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.18068

PersonaCraft的應(yīng)用場景

• 社交媒體：用戶根據(jù)喜好定制個人或與朋友一起的虛擬形象，用在社交媒體頭像、虛擬空間中的代表形象等。
• 廣告與營銷：品牌創(chuàng)建符合目標(biāo)受眾偏好的個性化廣告圖像，提高廣告的吸引力和用戶的共鳴。
• 時尚與服裝：在時尚行業(yè)中，展示服裝在不同體型和身份的人物上的穿著效果，提供更加個性化的購物體驗。
• 游戲與娛樂：在游戲設(shè)計中，創(chuàng)建具有個性化外觀的游戲角色，增強(qiáng)玩家的沉浸感和個性化體驗。
• 電影與動畫制作：在電影或動畫制作中快速生成或修改人物形象，提高制作效率并降低成本。