RealisHuman – 用于修復(fù)生成圖像中畸形人體部分的后處理框架

RealisHuman是什么

RealisHuman 是一款先進的后處理框架，專注于提升生成圖像中人體部位的細(xì)致度，特別是手和臉等關(guān)鍵區(qū)域。該框架采用兩步法來實現(xiàn)這一目標(biāo)：首先，利用原始畸形部位作為參考，生成高度逼真的人體部位，從而確保與原始圖像的完美一致；其次，通過重新繪制周圍環(huán)境，將修正后的部位無縫地融入原圖，確保自然且真實的合成效果。RealisHuman 顯著提升了生成圖像中人體部位的真實性，并具備強大的適應(yīng)能力，能夠處理包括卡通和素描在內(nèi)的多種風(fēng)格圖像。

RealisHuman的主要功能

• 生成真實的人體部位：RealisHuman 以原始畸形部位為基礎(chǔ)，生成細(xì)致入微的手和臉部，確保生成的細(xì)節(jié)與原始圖像高度一致。
• 無縫融合修正部位：在生成真實部位后，該框架通過重新繪制周圍區(qū)域，將修正的人體部位自然地融入原始圖像，實現(xiàn)平滑的融合效果。
• 支持多種圖像風(fēng)格：具備強大的適應(yīng)能力，能夠有效處理多種風(fēng)格的圖像，如卡通和素描。
• 提升生成圖像的真實性：通過上述兩步法，RealisHuman 顯著提高了生成圖像中人體部位的真實感。

RealisHuman的技術(shù)原理

• 第一階段：生成真實的人體部位
  • 參考原始畸形部位：RealisHuman 使用畸形部位作為參考，確保生成的人體部位在細(xì)節(jié)上與原圖像相符。
  • 提取細(xì)節(jié)信息：利用 Part Detail Encoder 和 DINOv2 等技術(shù)，提取原始部位的細(xì)節(jié)信息，包括膚色和紋理等。
  • 3D 姿態(tài)估計：結(jié)合從原始畸形部位提取的 3D 姿態(tài)估計結(jié)果，指導(dǎo)生成的人體部位圖像，以確保姿態(tài)的準(zhǔn)確性。
• 第二階段：無縫融合修正部位
  • 定位與裁剪：首先將修正后的人體部位放回原始位置，并對周圍區(qū)域進行遮罩處理。
  • 修復(fù)與融合：將此過程視為修復(fù)問題，訓(xùn)練模型無縫融合人體部位與周圍區(qū)域，以確保平滑過渡。
  • 重新繪制：在融合過程中，重新繪制背景與修正后的人體部位之間的區(qū)域，以消除拼貼痕跡。

RealisHuman的官網(wǎng)

• Github倉庫：https://github.com/Wangbenzhi/RealisHuman
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.03644

RealisHuman的應(yīng)用場景

• 游戲開發(fā)：在游戲角色設(shè)計中，RealisHuman 可用于生成真實感極強的角色手部和面部細(xì)節(jié)，從而增強角色的真實感與沉浸感。
• 影視制作：在影視特效制作中，可以幫助修復(fù)或提升角色的面部表情和手部動作，使特效畫面更自然。
• 圖像修復(fù)：對于存在手部或面部畸形的圖像，RealisHuman 能夠修復(fù)這些部位，使其看起來更加自然。
• 藝術(shù)創(chuàng)作：藝術(shù)家可以利用此技術(shù)生成獨特風(fēng)格和細(xì)節(jié)的人體部位，豐富其藝術(shù)作品的表現(xiàn)力。
• 交互式應(yīng)用：在虛擬試衣或虛擬化妝等應(yīng)用中，確保虛擬角色的手部和面部細(xì)節(jié)與用戶真實特征保持一致。

常見問題

• RealisHuman如何提升生成圖像質(zhì)量？：通過兩階段的處理方法，RealisHuman 在生成和融合過程中確保細(xì)節(jié)一致性與自然性。
• 該框架是否支持多種風(fēng)格的圖像？：是的，RealisHuman 具備強大的泛化能力，能夠處理多種風(fēng)格的圖像。
• 我可以在哪里獲取RealisHuman？：您可以訪問其 Github倉庫 和 arXiv技術(shù)論文 了解更多信息。