HandRefiner官網(wǎng)

解決AI圖像生成中手部畸形的問題 目前的圖像生成模型，再生成圖像方面已經(jīng)非常出色，但在生類手部的圖像時(shí)卻常常出現(xiàn)問題，比如手指數(shù)量不對(duì)或者手形怪異。

網(wǎng)站提供：Ai工具箱，Ai開源項(xiàng)目，Hand，HandRefiner。

HandRefiner簡(jiǎn)介

Contribute to wenquanlu/HandRefiner development by creating an account on GitHub.

解決ai圖像生成中手部畸形的問題 目前的圖像生成模型，再生成圖像方面已經(jīng)非常出色，但在生類手部的圖像時(shí)卻常常出現(xiàn)問題，比如手指數(shù)量不對(duì)或者手形怪異。

HandRefiner項(xiàng)目地址：https://github.com/wenquanlu/HandRefiner/

HandRefiner論文地址：https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner模型下載：https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner提出一種方法，在不改變圖片其他部分的情況下，修正那些形狀不正常的手部圖像。 它采用條件修補(bǔ)方法來(lái)糾正畸形的手部，可以識(shí)別出手部的正確形狀和手勢(shì)，并將這些正確的信息重新應(yīng)用到原始的錯(cuò)誤手部圖像上。

HandRefiner主要特點(diǎn)：

– 精確性：HandRefiner能夠精確地識(shí)別和修正生成圖像中的畸形手部，提供了一種有效的后處理解決方案。

– 保持一致性：在修正手部的同時(shí)，它保持圖像其他部分的一致性，不會(huì)影響圖像的整體質(zhì)量。

– 利用合成數(shù)據(jù)：研究中發(fā)現(xiàn)了ControlNet中的一個(gè)相變現(xiàn)象，這使得HandRefiner能夠有效地利用合成數(shù)據(jù)進(jìn)行訓(xùn)練，而不會(huì)受到真實(shí)手和合成手之間域差異的影響。這意味著HandRefiner還能學(xué)習(xí)很多不同的手的樣子，這樣無(wú)論手有多怪，它都能找到合適的方式來(lái)修正。

– 適用性：盡管HandRefiner主要針對(duì)手部圖像，但其基本原理和技術(shù)可以適用于其他需要精細(xì)修正的圖像生成任務(wù)。比如這種方法也可以用來(lái)修正其他部分，比如腳或者耳朵。

HandRefiner工作原理： 

1、手部識(shí)別與重建： 識(shí)別問題：首先，HandRefiner識(shí)別出生成圖像中形狀不正常的手部。重建手部：使用手部網(wǎng)格重建模型，HandRefiner根據(jù)人手應(yīng)該有的樣子重新畫出一個(gè)正確的手。它能夠重建出正確的手部形狀和手勢(shì)。這得益于模型基于正常手部的訓(xùn)練數(shù)據(jù)，即使是在畸形的手部圖像中也能生成合理的重建結(jié)果。

2、條件修補(bǔ)： 修補(bǔ)過程：HandRefiner采用條件修補(bǔ)方法來(lái)處理識(shí)別出的問題手部。它生成一個(gè)深度圖，這個(gè)深度圖包含了關(guān)于手部形狀和位置的重要信息。集成與修正：然后，這個(gè)深度圖被用作指導(dǎo)，通過ControlNet集成到擴(kuò)散模型中。HandRefiner會(huì)把這個(gè)重新畫好的手放回原來(lái)的畫作中，替換掉那個(gè)畫錯(cuò)的手，但其他部分不動(dòng)，保持原畫的風(fēng)格和內(nèi)容。

HandRefiner官網(wǎng)入口網(wǎng)址

https://github.com/wenquanlu/HandRefiner/

OpenI小編發(fā)現(xiàn)HandRefiner網(wǎng)站非常受用戶歡迎，請(qǐng)?jiān)L問HandRefiner網(wǎng)址入口試用。