RealisHuman

RealisHuman – 用于修復(fù)生成圖像中畸形人體部分的后處理框架

RealisHuman是什么

RealisHuman 是一款先進(jìn)的后處理框架，專(zhuān)注于提升生成圖像中人體部位的細(xì)致度，特別是手和臉等關(guān)鍵區(qū)域。該框架采用兩步法來(lái)實(shí)現(xiàn)這一目標(biāo)：首先，利用原始畸形部位作為參考，生成高度逼真的人體部位，從而確保與原始圖像的完美一致；其次，通過(guò)重新繪制周?chē)h(huán)境，將修正后的部位無(wú)縫地融入原圖，確保自然且真實(shí)的合成效果。RealisHuman 顯著提升了生成圖像中人體部位的真實(shí)性，并具備強(qiáng)大的適應(yīng)能力，能夠處理包括卡通和素描在內(nèi)的多種風(fēng)格圖像。

RealisHuman的主要功能

• 生成真實(shí)的人體部位：RealisHuman 以原始畸形部位為基礎(chǔ)，生成細(xì)致入微的手和臉部，確保生成的細(xì)節(jié)與原始圖像高度一致。
• 無(wú)縫融合修正部位：在生成真實(shí)部位后，該框架通過(guò)重新繪制周?chē)鷧^(qū)域，將修正的人體部位自然地融入原始圖像，實(shí)現(xiàn)平滑的融合效果。
• 支持多種圖像風(fēng)格：具備強(qiáng)大的適應(yīng)能力，能夠有效處理多種風(fēng)格的圖像，如卡通和素描。
• 提升生成圖像的真實(shí)性：通過(guò)上述兩步法，RealisHuman 顯著提高了生成圖像中人體部位的真實(shí)感。

RealisHuman的技術(shù)原理

• 第一階段：生成真實(shí)的人體部位
  • 參考原始畸形部位：RealisHuman 使用畸形部位作為參考，確保生成的人體部位在細(xì)節(jié)上與原圖像相符。
  • 提取細(xì)節(jié)信息：利用 Part Detail Encoder 和 DINOv2 等技術(shù)，提取原始部位的細(xì)節(jié)信息，包括膚色和紋理等。
  • 3D 姿態(tài)估計(jì)：結(jié)合從原始畸形部位提取的 3D 姿態(tài)估計(jì)結(jié)果，指導(dǎo)生成的人體部位圖像，以確保姿態(tài)的準(zhǔn)確性。
• 第二階段：無(wú)縫融合修正部位
  • 定位與裁剪：首先將修正后的人體部位放回原始位置，并對(duì)周?chē)鷧^(qū)域進(jìn)行遮罩處理。
  • 修復(fù)與融合：將此過(guò)程視為修復(fù)問(wèn)題，訓(xùn)練模型無(wú)縫融合人體部位與周?chē)鷧^(qū)域，以確保平滑過(guò)渡。
  • 重新繪制：在融合過(guò)程中，重新繪制背景與修正后的人體部位之間的區(qū)域，以消除拼貼痕跡。

RealisHuman的官網(wǎng)

• Github倉(cāng)庫(kù)：https://github.com/Wangbenzhi/RealisHuman
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.03644

RealisHuman的應(yīng)用場(chǎng)景

• 游戲開(kāi)發(fā)：在游戲角色設(shè)計(jì)中，RealisHuman 可用于生成真實(shí)感極強(qiáng)的角色手部和面部細(xì)節(jié)，從而增強(qiáng)角色的真實(shí)感與沉浸感。
• 影視制作：在影視特效制作中，可以幫助修復(fù)或提升角色的面部表情和手部動(dòng)作，使特效畫(huà)面更自然。
• 圖像修復(fù)：對(duì)于存在手部或面部畸形的圖像，RealisHuman 能夠修復(fù)這些部位，使其看起來(lái)更加自然。
• 藝術(shù)創(chuàng)作：藝術(shù)家可以利用此技術(shù)生成獨(dú)特風(fēng)格和細(xì)節(jié)的人體部位，豐富其藝術(shù)作品的表現(xiàn)力。
• 交互式應(yīng)用：在虛擬試衣或虛擬化妝等應(yīng)用中，確保虛擬角色的手部和面部細(xì)節(jié)與用戶(hù)真實(shí)特征保持一致。

常見(jiàn)問(wèn)題

• RealisHuman如何提升生成圖像質(zhì)量？：通過(guò)兩階段的處理方法，RealisHuman 在生成和融合過(guò)程中確保細(xì)節(jié)一致性與自然性。
• 該框架是否支持多種風(fēng)格的圖像？：是的，RealisHuman 具備強(qiáng)大的泛化能力，能夠處理多種風(fēng)格的圖像。
• 我可以在哪里獲取RealisHuman？：您可以訪(fǎng)問(wèn)其 Github倉(cāng)庫(kù) 和 arXiv技術(shù)論文 了解更多信息。