產(chǎn)品名稱:PersonaCraft
產(chǎn)品簡介:PersonaCraft是韓國首爾國立大學(xué)推出的個性化全身圖像合成技術(shù),結(jié)合擴(kuò)散模型和3D人類建模,能從單一參考圖像生成多個人物的逼真、個性化全身圖像。PersonaCraft能有效處理人物間的遮擋問題,支持用戶自定義身體形狀調(diào)整,實現(xiàn)更靈活的個性化定制。
詳細(xì)介紹:
PersonaCraft是什么
PersonaCraft是韓國首爾國立大學(xué)推出的個性化全身圖像合成技術(shù),結(jié)合擴(kuò)散模型和3D人類建模,能從單一參考圖像生成多個人物的逼真、個性化全身圖像。PersonaCraft能有效處理人物間的遮擋問題,支持用戶自定義身體形狀調(diào)整,實現(xiàn)更靈活的個性化定制?;诰_控制身體姿態(tài)和形狀,PersonaCraft在復(fù)雜場景中生成高質(zhì)量圖像方面表現(xiàn)出色,為多人圖像合成樹立了新標(biāo)準(zhǔn)。

PersonaCraft的主要功能
- 多人物圖像合成:根據(jù)單一參考圖像生成包含多個人物的逼真圖像。
- 遮擋處理:有效管理人物間的遮擋問題,確保圖像中每個人物的身體部分都能準(zhǔn)確展現(xiàn)。
- 全身個性化:不僅關(guān)注面部身份的個性化,還能準(zhǔn)確個性化每個人的全身形狀。
- 用戶定義身體形狀控制:用戶根據(jù)個人喜好調(diào)整生物的身體比例和形狀。
- 3D感知姿態(tài)條件控制:用SMPLx-ControlNet(SCNet)進(jìn)行3D感知的姿態(tài)條件控制,提高身體形狀和姿態(tài)的準(zhǔn)確性。
PersonaCraft的技術(shù)原理
- 3D人類建模與擴(kuò)散模型結(jié)合:PersonaCraft整合3D人類建模(特別是SMPLx模型)和擴(kuò)散模型,增強(qiáng)對人物身體形狀和姿態(tài)的控制。
- SMPLx-ControlNet(SCNet):用SMPLx模型生成的深度圖作為條件信號,準(zhǔn)確捕捉身體形狀和姿態(tài),有效處理復(fù)雜的遮擋問題。
- 面部和身體身份提取:基于InsightFace等技術(shù)從參考圖像中提取面部身份嵌入,用SMPLx擬合方法提取身體形狀參數(shù)。
- 3D感知姿態(tài)條件:與傳統(tǒng)的2D骨架姿勢條件不同,PersonaCraft用3D姿勢信息,提供更全面的人體姿勢表示,包括深度信息。
- 多人個性化圖像合成:結(jié)合SCNet和IdentityNet,使用面部掩碼準(zhǔn)確定位身份,實現(xiàn)多人身份的個性化圖像合成。
PersonaCraft的項目地址
- 項目官網(wǎng):gwang-kim.github.io/persona_craft
- GitHub倉庫:https://github.com/gwang-kim/PersonaCraft
- arXiv技術(shù)論文:https://arxiv.org/pdf/2411.18068
PersonaCraft的應(yīng)用場景
- 社交媒體:用戶根據(jù)喜好定制個人或與朋友一起的虛擬形象,用在社交媒體頭像、虛擬空間中的代表形象等。
- 廣告與營銷:品牌創(chuàng)建符合目標(biāo)受眾偏好的個性化廣告圖像,提高廣告的吸引力和用戶的共鳴。
- 時尚與服裝:在時尚行業(yè)中,展示服裝在不同體型和身份的人物上的穿著效果,提供更加個性化的購物體驗。
- 游戲與娛樂:在游戲設(shè)計中,創(chuàng)建具有個性化外觀的游戲角色,增強(qiáng)玩家的沉浸感和個性化體驗。
- 電影與動畫制作:在電影或動畫制作中快速生成或修改人物形象,提高制作效率并降低成本。
? 版權(quán)聲明
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載。
相關(guān)文章
暫無評論...

粵公網(wǎng)安備 44011502001135號